设备端 AI · 6 分钟阅读

什么是本地 AI 阅读器,你为什么需要它?

大多数会替你“解释”词语的阅读应用,都是在别处完成这件事的。 本地 AI 阅读器则在你手里的这台设备上完成。仅仅这一个差别, 就改变了它在飞机上还能不能用、运行它要花多少钱, 以及别人有没有可能知道你读了什么。

简短的定义

本地 AI 阅读器,是一款直接在你的手机或平板上运行语言模型的阅读应用, 而不是把文字发给服务器。你点一个词,解释就在设备上生成, 用的是存在设备里的模型文件和设备自己的处理器。

你点的那句话,没有任何部分离开这台硬件。没有 API 调用,没有请求日志, 也没有和这次查询绑在一起的账号。

这个区别为什么重要

1. 网络不通时它照样能用

云端查询偏偏在最想读书的场合失灵:飞机上、地铁里、酒店里糟糕的 Wi-Fi 下、 没有流量套餐的国外。本地模型对你的网络没有任何意见。 口袋里的词典不需要信号,取代它的东西也不该需要。

2. 你的阅读记录不再是数据

一个人查过的词,透露的东西多得惊人:你在学哪门语言、大概学到什么程度、 深夜在读什么、正在悄悄研究哪些话题。在云端产品里, 这条数据流默认就是服务器上的一份记录——不是因为谁心怀不轨, 而是因为请求日志本来就是服务器的工作方式。

当模型在本地运行,那份记录根本不存在,也就无从保存、泄露、 被调取或被出售。这比一份隐私政策更有力, 因为它是结构上的,而不是承诺上的。

一个“不看你的数据”的承诺,取决于公司是否守信。 而一个从不接收你的数据的架构,不取决于任何人。

3. 不计量,也不按次收费

云端推理让开发者每被点一次就要花一次钱,所以基于云的阅读应用往往 带着订阅、点数或每日上限出现。本地推理在运行时不花开发者一分钱。 你一个晚上点两百个词,这笔账也不会变。

你放弃了什么

本地 AI 并非没有代价, 声称它没有代价的人,多半是在推销什么。

简单说说它是怎么工作的

模型以量化文件的形式发布,通常是 GGUF 格式,也就是模型权重的一种压缩表示。 量化用一点点精度,换来体积和内存的大幅下降, 正是这一步让手机大小的模型成为可能。

llama.cpp 这类运行时会加载这个文件,把它内存映射进来, 然后在设备的 CPU 或神经网络加速器上做推理。应用把你点的词连同前后的句子交给它, 再逐个 token 地把答案流式传回来——这就是为什么好的本地阅读器 是让解释一点点浮现,而不是一次性全部出现。

该看什么

如果你在评估一款自称“本地”的阅读器,下面这些问题能把真货 和营销话术分开:

ClickBook 站在哪里

ClickBook 就是刻意这样做的。模型在设备上运行,书是你本来就拥有的文件, 没有账号,你读的文字也不会被发到任何地方做云端处理。 完全断网时,阅读和点词查询照常工作。

用你自己的书试试

导入一个 EPUB 或文字版 PDF,点一个你不认识的词, 看着解释在没有网络的情况下出现。 看看 ClickBook 里有什么,也可以读读 隐私政策 了解其中的细节。