IA sul dispositivo · 6 min di lettura

Che cos'è un lettore di ebook con IA locale e perché sceglierlo?

Quasi tutte le app di lettura che «spiegano» le parole lo fanno altrove. Un lettore di ebook con IA locale lo fa sul dispositivo che hai in mano. Quella sola differenza cambia che cosa può fare l'app in aereo, quanto costa farla funzionare e che cosa si potrà mai sapere di ciò che leggi.

La definizione in breve

Un lettore di ebook con IA locale è un'app di lettura che esegue un modello linguistico direttamente sul tuo telefono o tablet, invece di mandare il testo a un server. Quando tocchi una parola, la spiegazione è generata sul dispositivo, da un file di modello archiviato sul dispositivo, con il processore del dispositivo stesso.

Nulla della frase che hai toccato esce dall'hardware. Non c'è nessuna chiamata API, nessun registro delle richieste, nessun account collegato alla ricerca.

Perché la distinzione conta

1. Funziona quando la rete non funziona

Le ricerche nel cloud falliscono proprio nelle situazioni in cui leggere è più piacevole: in aereo, in metropolitana, in un hotel con un Wi-Fi ostile, all'estero senza piano dati. A un modello locale la tua connessione non interessa. Il dizionario che tenevi in tasca non aveva bisogno di segnale, e non dovrebbe averne bisogno nemmeno ciò che l'ha sostituito.

2. La tua storia di lettura smette di essere un dato

Le parole che una persona cerca dicono moltissimo. Rivelano quale lingua stai imparando, più o meno quanto la padroneggi, che cosa leggi a notte fonda, su quali argomenti ti stai informando in silenzio. In un prodotto cloud quel flusso diventa per impostazione predefinita un registro sul server — non perché qualcuno abbia cattive intenzioni, ma perché i log delle richieste sono semplicemente il modo in cui funzionano i server.

Quando il modello gira in locale, quel registro non esiste: non può essere conservato, diffuso, richiesto da un giudice o venduto. È una garanzia più solida di un'informativa sulla privacy, perché è strutturale e non una promessa.

La promessa di non guardare i tuoi dati dipende dall'azienda che la mantiene. Un'architettura che i tuoi dati non li riceve mai, no.

3. Nessun contatore, nessun costo per ricerca

L'inferenza nel cloud costa denaro allo sviluppatore a ogni singolo tocco: per questo le app di lettura basate sul cloud arrivano quasi sempre con abbonamenti, crediti o limiti giornalieri. L'inferenza locale non costa nulla allo sviluppatore mentre gira. Puoi toccare duecento parole in una sera e i conti non cambiano.

A che cosa rinunci

L'IA locale non è priva di compromessi, e chi sostiene il contrario ti sta vendendo qualcosa.

• Spazio di archiviazione. Un modello utile si misura in gigabyte, non in megabyte. Su un telefono già pieno è un costo reale.
• Capacità pura. Un modello abbastanza piccolo da girare su un telefono non è il modello più grande del mondo. Per definire una parola nel contesto è più che sufficiente; per scriverti un saggio non è lo strumento giusto.
• Requisiti hardware. Eseguire un modello linguistico in locale è impegnativo. I dispositivi vecchi o con poca memoria non ce la fanno, o ci riescono troppo lentamente perché sia piacevole.
• Calore e batteria. L'inferenza continua scalda il telefono. Le app locali fatte bene dosano il lavoro invece di spingere il processore al massimo.

Come funziona, in breve

Il modello arriva come file quantizzato — di solito in formato GGUF — cioè una rappresentazione compressa dei suoi pesi. La quantizzazione scambia un po' di accuratezza con una grande riduzione di dimensioni e memoria, ed è proprio questo a rendere possibile un modello della taglia di un telefono.

Un runtime come llama.cpp carica quel file, lo mappa in memoria ed esegue l'inferenza sulla CPU o sull'acceleratore neurale del dispositivo. L'app gli passa la parola toccata insieme alla frase che la circonda e riceve la risposta token dopo token — ecco perché un buon lettore locale mostra la spiegazione comparire poco a poco invece che tutta insieme.

A che cosa fare attenzione

Se stai valutando un lettore che si dichiara locale, queste domande separano la sostanza dal marketing:

• La ricerca delle parole funziona anche in modalità aereo? È la prova onesta.
• C'è un account? Elaborazione locale e registrazione obbligatoria convivono male.
• Quali dati, di preciso, l'informativa sulla privacy dice che lasciano il dispositivo — e nomina il modello?
• Ci sono limiti o crediti per ogni ricerca? Di solito implicano un backend a consumo.
• Funziona con i tuoi file o solo con uno store da cui sei obbligato a comprare?

Dove si colloca ClickBook

ClickBook è fatto così di proposito. Il modello gira sul dispositivo, i tuoi libri sono file che già possiedi, non c'è nessun account e il testo che leggi non viene inviato da nessuna parte per l'elaborazione nel cloud. La lettura e la ricerca delle parole funzionano con la rete del tutto spenta.