Cihazda yapay zekâ · 6 dk okuma

Yerel yapay zekâlı e-okuyucu nedir ve neden isteyesiniz?

Sizin için kelimeleri “açıklayan” okuma uygulamalarının çoğu bunu başka bir yerde yapar. Yerel yapay zekâlı bir e-okuyucu ise elinizdeki cihazda yapar. Bu tek fark, uygulamanın uçakta ne yapabileceğini, çalıştırmanın neye mal olduğunu ve ne okuduğunuz hakkında herhangi birinin neyi öğrenebileceğini değiştirir.

Kısa tanım

Yerel yapay zekâlı e-okuyucu, metni bir sunucuya göndermek yerine bir dil modelini doğrudan telefonunuzda ya da tabletinizde çalıştıran bir okuma uygulamasıdır. Bir kelimeye dokunduğunuzda açıklama, cihazda saklanan bir model dosyasından, cihazın kendi işlemcisiyle, cihazda üretilir.

Dokunduğunuz cümleye dair hiçbir şey donanımdan çıkmaz. Ne bir API çağrısı, ne bir istek kaydı, ne de aramaya iliştirilmiş bir hesap vardır.

Bu ayrım neden önemli

1. Ağ çalışmadığında da çalışır

Bulut aramaları tam da okumanın en cazip olduğu durumlarda başarısız olur: uçakta, metroda, düşmanca bir Wi-Fi'si olan otelde, veri paketi olmadan yurt dışında. Yerel bir modelin bağlantınız hakkında bir görüşü yoktur. Cebinizdeki sözlük sinyale ihtiyaç duymaz; onun yerini alan şey de duymamalı.

2. Okuma geçmişiniz veri olmaktan çıkar

Bir insanın baktığı kelimeler alışılmadık ölçüde açık edicidir. Hangi dili öğrendiğinizi, onda kabaca ne kadar iyi olduğunuzu, gece geç saatte ne okuduğunuzu, hangi konuları sessizce araştırdığınızı ele verirler. Bulut tabanlı bir üründe bu akış varsayılan olarak sunucu tarafında bir kayıttır — kimse kötü niyetli olduğu için değil, istek kayıtları sunucuların çalışma biçimi olduğu için.

Model yerel çalıştığında o kayıt, saklanacak, sızdırılacak, mahkemece istenecek ya da satılacak biçimde var olmaz. Bu, bir gizlilik politikasından daha güçlü bir güvencedir, çünkü vaade değil yapıya dayanır.

Verilerinize bakmama sözü, şirketin sözünü tutmasına bağlıdır. Verilerinizi hiç almayan bir mimari ise bağlı değildir.

3. Sayaç yok, arama başına maliyet yok

Bulutta çıkarım, geliştiriciye her dokunuşta para harcatır; bu yüzden bulut destekli okuma uygulamaları genelde abonelikler, krediler ya da günlük sınırlarla gelir. Yerel çıkarım geliştiriciye çalışma anında hiçbir şeye mal olmaz. Bir akşamda iki yüz kelimeye dokunabilirsiniz, hesap değişmez.

Neyden vazgeçiyorsunuz

Yerel yapay zekâ ödünsüz değildir; aksini söyleyen size bir şey satıyordur.

Kısaca nasıl çalışır

Model, nicemlenmiş bir dosya olarak gelir — genellikle GGUF biçiminde — ve bu, modelin ağırlıklarının sıkıştırılmış bir temsilidir. Nicemleme, biraz doğruluğu boyut ve bellekte büyük bir azalmayla takas eder; telefon boyutunda bir modeli mümkün kılan da tam olarak budur.

llama.cpp gibi bir çalışma zamanı bu dosyayı yükler, belleğe eşler ve cihazın işlemcisi ya da sinirsel hızlandırıcısı üzerinde çıkarım yapar. Uygulama ona dokunulan kelimeyi ve çevresindeki cümleyi verir, o da yanıtı belirteç belirteç geri akıtır — iyi bir yerel okuyucunun açıklamayı hepsi birden değil de kademeli görünürken göstermesinin nedeni budur.

Neye bakmalı

Yerel olduğunu iddia eden bir okuyucuyu değerlendiriyorsanız, şu sorular gerçeği pazarlamadan ayırır:

ClickBook nerede duruyor

ClickBook bilerek böyle kuruldu. Model cihazda çalışır, kitaplarınız zaten sahip olduğunuz dosyalardır, hesap yoktur ve okuduğunuz metin bulutta işlenmek üzere hiçbir yere gönderilmez. Okuma ve kelime aramaları, ağ tamamen kapalıyken çalışır.

Kendi kitaplarınızda deneyin

Bir EPUB ya da metin içeren bir PDF içe aktarın, bilmediğiniz bir kelimeye dokunun ve açıklamanın bağlantı olmadan geldiğini görün. ClickBook'un içinde ne var, görünya da ayrıntılar için Gizlilik Politikası okuyun.