设备端 AI · 6 分钟阅读
什么是本地 AI 阅读器,你为什么需要它?
大多数会替你“解释”词语的阅读应用,都是在别处完成这件事的。 本地 AI 阅读器则在你手里的这台设备上完成。仅仅这一个差别, 就改变了它在飞机上还能不能用、运行它要花多少钱, 以及别人有没有可能知道你读了什么。
简短的定义
本地 AI 阅读器,是一款直接在你的手机或平板上运行语言模型的阅读应用, 而不是把文字发给服务器。你点一个词,解释就在设备上生成, 用的是存在设备里的模型文件和设备自己的处理器。
你点的那句话,没有任何部分离开这台硬件。没有 API 调用,没有请求日志, 也没有和这次查询绑在一起的账号。
这个区别为什么重要
1. 网络不通时它照样能用
云端查询偏偏在最想读书的场合失灵:飞机上、地铁里、酒店里糟糕的 Wi-Fi 下、 没有流量套餐的国外。本地模型对你的网络没有任何意见。 口袋里的词典不需要信号,取代它的东西也不该需要。
2. 你的阅读记录不再是数据
一个人查过的词,透露的东西多得惊人:你在学哪门语言、大概学到什么程度、 深夜在读什么、正在悄悄研究哪些话题。在云端产品里, 这条数据流默认就是服务器上的一份记录——不是因为谁心怀不轨, 而是因为请求日志本来就是服务器的工作方式。
当模型在本地运行,那份记录根本不存在,也就无从保存、泄露、 被调取或被出售。这比一份隐私政策更有力, 因为它是结构上的,而不是承诺上的。
一个“不看你的数据”的承诺,取决于公司是否守信。 而一个从不接收你的数据的架构,不取决于任何人。
3. 不计量,也不按次收费
云端推理让开发者每被点一次就要花一次钱,所以基于云的阅读应用往往 带着订阅、点数或每日上限出现。本地推理在运行时不花开发者一分钱。 你一个晚上点两百个词,这笔账也不会变。
你放弃了什么
本地 AI 并非没有代价, 声称它没有代价的人,多半是在推销什么。
- 存储空间。 有用的模型是以 GB 计的,不是 MB。 对一部本来就快满的手机来说,这是实打实的代价。
- 原始能力。 小到能在手机上跑的模型,不会是世界上最大的模型。 用来在上下文里解释一个词,它绰绰有余; 用来替你写一篇文章,它就不是合适的工具。
- 硬件门槛。 在本地运行语言模型很吃资源。 较旧或内存较小的设备要么跑不动,要么慢到用起来难受。
- 发热和电量。 持续推理会让手机发热。 做得好的本地应用会控制节奏,而不是让处理器一直全速运转。
简单说说它是怎么工作的
模型以量化文件的形式发布,通常是 GGUF 格式,也就是模型权重的一种压缩表示。 量化用一点点精度,换来体积和内存的大幅下降, 正是这一步让手机大小的模型成为可能。
llama.cpp 这类运行时会加载这个文件,把它内存映射进来, 然后在设备的 CPU 或神经网络加速器上做推理。应用把你点的词连同前后的句子交给它, 再逐个 token 地把答案流式传回来——这就是为什么好的本地阅读器 是让解释一点点浮现,而不是一次性全部出现。
该看什么
如果你在评估一款自称“本地”的阅读器,下面这些问题能把真货 和营销话术分开:
- 开了飞行模式,点词查询还能用吗?这是最诚实的检验。
- 需要账号吗?本地处理和强制注册摆在一起,本身就很别扭。
- 隐私政策里具体写明了哪些内容会离开设备——它有没有说清用的是哪个模型?
- 有没有按次数的限制或点数?那通常意味着后台在计量收费。
- 它能读你自己的文件,还是只能读必须从某个商店买来的书?
ClickBook 站在哪里
ClickBook 就是刻意这样做的。模型在设备上运行,书是你本来就拥有的文件, 没有账号,你读的文字也不会被发到任何地方做云端处理。 完全断网时,阅读和点词查询照常工作。
用你自己的书试试
导入一个 EPUB 或文字版 PDF,点一个你不认识的词, 看着解释在没有网络的情况下出现。 看看 ClickBook 里有什么,也可以读读 隐私政策 了解其中的细节。