Cihazda yapay zekâ · 6 dk okuma
Yerel yapay zekâlı e-okuyucu nedir ve neden isteyesiniz?
Sizin için kelimeleri “açıklayan” okuma uygulamalarının çoğu bunu başka bir yerde yapar. Yerel yapay zekâlı bir e-okuyucu ise elinizdeki cihazda yapar. Bu tek fark, uygulamanın uçakta ne yapabileceğini, çalıştırmanın neye mal olduğunu ve ne okuduğunuz hakkında herhangi birinin neyi öğrenebileceğini değiştirir.
Kısa tanım
Yerel yapay zekâlı e-okuyucu, metni bir sunucuya göndermek yerine bir dil modelini doğrudan telefonunuzda ya da tabletinizde çalıştıran bir okuma uygulamasıdır. Bir kelimeye dokunduğunuzda açıklama, cihazda saklanan bir model dosyasından, cihazın kendi işlemcisiyle, cihazda üretilir.
Dokunduğunuz cümleye dair hiçbir şey donanımdan çıkmaz. Ne bir API çağrısı, ne bir istek kaydı, ne de aramaya iliştirilmiş bir hesap vardır.
Bu ayrım neden önemli
1. Ağ çalışmadığında da çalışır
Bulut aramaları tam da okumanın en cazip olduğu durumlarda başarısız olur: uçakta, metroda, düşmanca bir Wi-Fi'si olan otelde, veri paketi olmadan yurt dışında. Yerel bir modelin bağlantınız hakkında bir görüşü yoktur. Cebinizdeki sözlük sinyale ihtiyaç duymaz; onun yerini alan şey de duymamalı.
2. Okuma geçmişiniz veri olmaktan çıkar
Bir insanın baktığı kelimeler alışılmadık ölçüde açık edicidir. Hangi dili öğrendiğinizi, onda kabaca ne kadar iyi olduğunuzu, gece geç saatte ne okuduğunuzu, hangi konuları sessizce araştırdığınızı ele verirler. Bulut tabanlı bir üründe bu akış varsayılan olarak sunucu tarafında bir kayıttır — kimse kötü niyetli olduğu için değil, istek kayıtları sunucuların çalışma biçimi olduğu için.
Model yerel çalıştığında o kayıt, saklanacak, sızdırılacak, mahkemece istenecek ya da satılacak biçimde var olmaz. Bu, bir gizlilik politikasından daha güçlü bir güvencedir, çünkü vaade değil yapıya dayanır.
Verilerinize bakmama sözü, şirketin sözünü tutmasına bağlıdır. Verilerinizi hiç almayan bir mimari ise bağlı değildir.
3. Sayaç yok, arama başına maliyet yok
Bulutta çıkarım, geliştiriciye her dokunuşta para harcatır; bu yüzden bulut destekli okuma uygulamaları genelde abonelikler, krediler ya da günlük sınırlarla gelir. Yerel çıkarım geliştiriciye çalışma anında hiçbir şeye mal olmaz. Bir akşamda iki yüz kelimeye dokunabilirsiniz, hesap değişmez.
Neyden vazgeçiyorsunuz
Yerel yapay zekâ ödünsüz değildir; aksini söyleyen size bir şey satıyordur.
- Depolama. İşe yarar bir model megabaytlarla değil gigabaytlarla ölçülür. Zaten dolu bir telefonda bu gerçek bir bedeldir.
- Ham yetenek. Telefonda çalışacak kadar küçük bir model, dünyanın en büyük modeli değildir. Bir kelimeyi bağlam içinde tanımlamak için fazlasıyla yeterlidir; size deneme yazmak için doğru araç değildir.
- Donanım tabanı. Bir dil modelini yerel çalıştırmak zorlayıcıdır. Eski ya da az bellekli cihazlar ya bunu yapamaz ya da iyi hissettirmeyecek kadar yavaş yapar.
- Isı ve pil. Sürekli çıkarım telefonu ısıtır. İyi yapılmış yerel uygulamalar, işlemciyi sonuna kadar zorlamak yerine işlerini araya yayar.
Kısaca nasıl çalışır
Model, nicemlenmiş bir dosya olarak gelir — genellikle GGUF biçiminde — ve bu, modelin ağırlıklarının sıkıştırılmış bir temsilidir. Nicemleme, biraz doğruluğu boyut ve bellekte büyük bir azalmayla takas eder; telefon boyutunda bir modeli mümkün kılan da tam olarak budur.
llama.cpp gibi bir çalışma zamanı bu dosyayı yükler, belleğe eşler ve cihazın işlemcisi ya da sinirsel hızlandırıcısı üzerinde çıkarım yapar. Uygulama ona dokunulan kelimeyi ve çevresindeki cümleyi verir, o da yanıtı belirteç belirteç geri akıtır — iyi bir yerel okuyucunun açıklamayı hepsi birden değil de kademeli görünürken göstermesinin nedeni budur.
Neye bakmalı
Yerel olduğunu iddia eden bir okuyucuyu değerlendiriyorsanız, şu sorular gerçeği pazarlamadan ayırır:
- Uçak modunda kelime araması hâlâ çalışıyor mu? Dürüst sınav budur.
- Hesap var mı? Yerel işleme ile zorunlu kayıt pek yan yana durmaz.
- Gizlilik politikası cihazdan tam olarak neyin ayrıldığını söylüyor — ve modeli adıyla anıyor mu?
- Arama başına sınır ya da kredi var mı? Bunlar genelde sayaçlı bir arka uca işaret eder.
- Kendi dosyalarınızla mı çalışıyor, yoksa yalnızca satın almanız gereken bir mağazayla mı?
ClickBook nerede duruyor
ClickBook bilerek böyle kuruldu. Model cihazda çalışır, kitaplarınız zaten sahip olduğunuz dosyalardır, hesap yoktur ve okuduğunuz metin bulutta işlenmek üzere hiçbir yere gönderilmez. Okuma ve kelime aramaları, ağ tamamen kapalıyken çalışır.
Kendi kitaplarınızda deneyin
Bir EPUB ya da metin içeren bir PDF içe aktarın, bilmediğiniz bir kelimeye dokunun ve açıklamanın bağlantı olmadan geldiğini görün. ClickBook'un içinde ne var, görünya da ayrıntılar için Gizlilik Politikası okuyun.