ИИ на устройстве · 6 мин чтения

Что такое локальная ИИ-читалка и зачем она нужна?

Большинство читалок, которые «объясняют» вам слова, делают это где-то ещё. Локальная ИИ-читалка делает это на устройстве у вас в руках. Одно это различие меняет то, что приложение может в самолёте, во что обходится его работа и что кто-либо когда-либо сможет узнать о вашем чтении.

Короткое определение

Локальная ИИ-читалка — это приложение для чтения, которое запускает языковую модель прямо на вашем телефоне или планшете, а не отправляет текст на сервер. Когда вы нажимаете слово, объяснение создаётся на устройстве, из файла модели, хранящегося на устройстве, силами его собственного процессора.

Ничто из предложения, которое вы нажали, не покидает железо. Нет ни вызова API, ни записи в журнале запросов, ни привязанного к поиску аккаунта.

Почему это различие важно

1. Оно работает, когда не работает сеть

Облачные запросы отказывают ровно в тех ситуациях, где чтение особенно уместно: в самолёте, в метро, в отеле с недружелюбным Wi-Fi, за границей без мобильного трафика. У локальной модели нет мнения о вашем соединении. Словарю в кармане сигнал не нужен — и тому, что пришло ему на смену, тоже.

2. История чтения перестаёт быть данными

Слова, которые человек смотрит, необычайно многое выдают. Из них видно, какой язык вы учите и насколько хорошо им владеете, что вы читаете поздно ночью, какие темы тихо изучаете. В облачном продукте этот поток по умолчанию оказывается серверной записью — не потому, что кто-то злоумышляет, а потому что журналы запросов это попросту то, как устроены серверы.

Когда модель работает локально, такой записи не существует — её нельзя сохранить, слить, истребовать по суду или продать. Это более сильная гарантия, чем политика конфиденциальности, потому что она структурная, а не обещанная.

Обещание не смотреть в ваши данные зависит от того, сдержит ли его компания. Архитектура, которая ваших данных вообще не получает, — не зависит.

3. Никаких счётчиков и платы за каждый запрос

Облачный вывод стоит разработчику денег при каждом нажатии — поэтому облачные читалки обычно приходят с подписками, кредитами или дневными лимитами. Локальный вывод не стоит разработчику ничего во время работы. Вы можете нажать двести слов за вечер, и экономика не изменится.

Чем приходится жертвовать

Локальный ИИ не свободен от компромиссов, и кто утверждает обратное — что-то вам продаёт.

Как это работает, вкратце

Модель поставляется как квантованный файл — обычно в формате GGUF — то есть сжатое представление её весов. Квантование меняет немного точности на большое сокращение размера и памяти, и именно это вообще делает возможной модель телефонного размера.

Среда выполнения вроде llama.cpp загружает этот файл, отображает его в память и запускает вывод на процессоре устройства или нейроускорителе. Приложение передаёт ей нажатое слово и окружающее предложение, а она возвращает ответ токен за токеном — поэтому хорошая локальная читалка показывает объяснение появляющимся постепенно, а не сразу целиком.

На что смотреть

Если вы оцениваете читалку, называющую себя локальной, эти вопросы отделяют настоящее от маркетинга:

Где здесь ClickBook

ClickBook сделан так намеренно. Модель работает на устройстве, ваши книги — это файлы, которыми вы уже владеете, аккаунта нет, а текст, который вы читаете, никуда не отправляется для облачной обработки. Чтение и поиск слов работают при полностью выключенной сети.

Попробуйте на своих книгах

Импортируйте EPUB или текстовый PDF, нажмите слово, которого не знаете, и посмотрите, как объяснение приходит без соединения. Посмотрите, что внутри ClickBook, или прочитайте Политика конфиденциальности с подробностями.