オンデバイスAI · 読了6分

ローカルAI電子書籍リーダーとは何か、なぜ必要なのか

単語を「解説」してくれる読書アプリの多くは、その処理をどこか別の場所で行っています。 ローカルAI電子書籍リーダーは、手元の端末で行います。 この違いひとつで、飛行機のなかでできること、動かすためにかかる費用、 そしてあなたが何を読んでいるかを誰かが知りうる範囲が変わります。

短い定義

ローカルAI電子書籍リーダーとは、テキストをサーバーに送る代わりに、 言語モデルをスマホやタブレットの上で直接動かす読書アプリです。 単語をタップすると、端末に保存されたモデルファイルから、 端末自身のプロセッサーを使って、その場で解説が生成されます。

タップした文に関わるものは、何ひとつ端末の外に出ません。 APIの呼び出しもリクエストのログもなく、その検索に結びつくアカウントもありません。

この違いが重要な理由

1. ネットワークがなくても動く

クラウドでの検索は、読書がいちばん魅力的になる場面でこそ失敗します。 飛行機のなか、地下鉄、Wi-Fiの意地の悪いホテル、データ通信のない海外。 ローカルのモデルは、接続状況に関心を持ちません。 ポケットの辞書に電波は要りませんでした。 それに取って代わったものにも、要らないはずです。

2. 読書の履歴がデータでなくなる

人が調べる単語は、思いのほか多くを明かします。 どの言語を学んでいるか、その習熟度はどのくらいか、 夜遅くに何を読んでいるか、どんな主題を静かに調べているか。 クラウド製品では、その流れは既定でサーバー側の記録になります。 誰かが悪意を持っているからではなく、 リクエストのログはサーバーの仕組みそのものだからです。

モデルが端末上で動くなら、その記録はそもそも存在しません。 保管も流出も、令状による提出も、売却も起こりようがありません。 これはプライバシーポリシーより強い保証です。約束ではなく、構造そのものだからです。

データを見ないという約束は、企業がそれを守るかどうかに左右されます。 データをそもそも受け取らない設計は、左右されません。

3. 従量課金も、1回ごとの費用もない

クラウドでの推論は、タップのたびに開発者に費用がかかります。 クラウド前提の読書アプリにサブスクリプションやクレジット、1日の上限がつきものなのは、そのためです。 ローカルでの推論は、実行時に開発者の費用がかかりません。 一晩に200語タップしても、採算は変わりません。

引き換えに諦めるもの

ローカルAIに引き換えがないわけではありません。 そうでないと言う人がいたら、何かを売ろうとしています。

• ストレージ。 役に立つモデルの単位は、メガバイトではなくギガバイトです。 すでに容量の逼迫したスマホでは、これは実際の負担になります。
• 純粋な能力。 スマホで動くほど小さいモデルは、 世界最大のモデルではありません。文脈のなかで単語の意味を示すには十分すぎますが、 小論文を書かせる道具ではありません。
• ハードウェアの下限。 言語モデルを端末上で動かすのは、 重い処理です。古い端末やメモリの少ない端末では、動かないか、 快適とは言えないほど遅くなります。
• 発熱とバッテリー。 推論を続けると、スマホは温かくなります。 よくできたローカルアプリは、プロセッサーを全開で回し続けるのではなく、 処理の間隔を調整します。

仕組みを簡単に

モデルは量子化されたファイル、たいていはGGUF形式で配布されます。 これはモデルの重みを圧縮して表したものです。 量子化はわずかな精度と引き換えに、サイズとメモリを大きく減らします。 スマホサイズのモデルが成り立つのは、これがあるからです。

llama.cppのようなランタイムがそのファイルを読み込み、メモリにマップして、 端末のCPUやニューラルアクセラレーターで推論を実行します。 アプリはタップされた単語と前後の文を渡し、答えはトークン単位で返ってきます。 よくできたローカルリーダーで解説が一度に出るのではなく少しずつ現れるのは、 そのためです。

確かめるべきこと

ローカルだと謳うリーダーを検討しているなら、 次の質問が本物と宣伝文句を分けます。

• 機内モードでも単語検索が動くか。これが正直な試験です。
• アカウントはあるか。端末上での処理と必須の会員登録は、あまり噛み合いません。
• プライバシーポリシーは、端末から何が出ていくと具体的に書いているか。使っているモデル名は挙げているか。
• 検索1回ごとの上限やクレジットはあるか。あるなら、たいてい従量制のバックエンドがある証拠です。
• 自分のファイルで使えるか。それとも、購入が必要なストアの本しか読めないか。

ClickBookの立ち位置

ClickBookは、意図してこの形で作られています。モデルは端末上で動き、 本はすでに手元にあるファイルで、アカウントはなく、 読んでいるテキストがクラウド処理のためにどこかへ送られることもありません。 読書も単語検索も、ネットワークを完全に切ったまま使えます。