AI trên máy · đọc 6 phút
Trình đọc sách điện tử có AI cục bộ là gì, và vì sao bạn nên muốn nó?
Phần lớn ứng dụng đọc “giải thích” từ cho bạn đều làm việc đó ở nơi khác. Một trình đọc có AI cục bộ làm việc đó ngay trên thiết bị trong tay bạn. Chỉ một khác biệt ấy đã thay đổi những gì ứng dụng làm được trên máy bay, chi phí vận hành nó, và những gì bất kỳ ai có thể biết về những gì bạn đọc.
Định nghĩa ngắn gọn
Trình đọc sách điện tử có AI cục bộ là ứng dụng đọc chạy một mô hình ngôn ngữ trực tiếp trên điện thoại hay máy tính bảng của bạn, thay vì gửi văn bản tới máy chủ. Khi bạn chạm vào một từ, lời giải thích được tạo ngay trên máy, từ một tệp mô hình lưu trên máy, bằng chính bộ xử lý của máy.
Không có gì thuộc về câu bạn vừa chạm rời khỏi phần cứng. Không có lệnh gọi API, không có nhật ký yêu cầu, không có tài khoản gắn với lần tra ấy.
Vì sao khác biệt này quan trọng
1. Nó chạy được khi mạng thì không
Tra cứu trên đám mây hỏng đúng vào những lúc việc đọc hấp dẫn nhất: trên máy bay, dưới tàu điện ngầm, trong khách sạn có Wi-Fi tệ hại, ở nước ngoài không có gói dữ liệu. Mô hình cục bộ chẳng có ý kiến gì về kết nối của bạn. Cuốn từ điển trong túi bạn không cần sóng, và thứ thay thế nó cũng không nên cần.
2. Lịch sử đọc của bạn thôi làm dữ liệu
Những từ một người tra cứu tiết lộ nhiều một cách khác thường. Chúng phơi bày bạn đang học ngôn ngữ nào, giỏi tới đâu, đọc gì lúc đêm khuya, đang lặng lẽ tìm hiểu chủ đề nào. Trong một sản phẩm đám mây, dòng dữ liệu đó mặc nhiên là bản ghi phía máy chủ — không phải vì ai đó có ý xấu, mà vì nhật ký yêu cầu đơn giản là cách máy chủ vận hành.
Khi mô hình chạy cục bộ, bản ghi ấy không tồn tại để mà bị giữ, bị rò rỉ, bị trưng cầu hay bị bán. Đây là bảo đảm mạnh hơn một chính sách quyền riêng tư, vì nó thuộc về cấu trúc chứ không phải lời hứa.
Lời hứa không nhìn vào dữ liệu của bạn phụ thuộc vào việc công ty có giữ lời. Một kiến trúc không bao giờ nhận dữ liệu của bạn thì không phụ thuộc vào điều đó.
3. Không đếm lượt, không tốn phí mỗi lần tra
Suy luận trên đám mây tốn tiền của nhà phát triển ở từng cú chạm, nên các ứng dụng đọc dựa vào đám mây thường đi kèm gói thuê bao, tín dụng hoặc giới hạn hằng ngày. Suy luận cục bộ không tốn gì của nhà phát triển khi chạy. Bạn có thể chạm hai trăm từ trong một tối mà bài toán kinh tế vẫn không đổi.
Bạn đánh đổi những gì
AI cục bộ không hề không có đánh đổi, và ai nói ngược lại là đang bán cho bạn một thứ gì đó.
- Dung lượng. Một mô hình hữu dụng được đo bằng gigabyte, không phải megabyte. Với một chiếc điện thoại vốn đã đầy, đó là cái giá thật.
- Năng lực thô. Một mô hình đủ nhỏ để chạy trên điện thoại không phải là mô hình lớn nhất thế giới. Để định nghĩa một từ trong ngữ cảnh thì nó thừa sức; để viết cho bạn một bài luận thì nó không phải công cụ.
- Ngưỡng phần cứng. Chạy một mô hình ngôn ngữ cục bộ là việc nặng. Máy cũ hoặc ít bộ nhớ hoặc không làm nổi, hoặc làm chậm tới mức khó chịu.
- Nhiệt và pin. Suy luận kéo dài làm nóng máy. Ứng dụng cục bộ làm tốt sẽ giãn nhịp công việc thay vì chạy bộ xử lý hết công suất.
Cách nó hoạt động, vắn tắt
Mô hình được đóng gói thành một tệp đã lượng tử hoá — thường ở định dạng GGUF — tức là một biểu diễn nén của các trọng số. Lượng tử hoá đổi một chút độ chính xác lấy mức giảm lớn về kích thước và bộ nhớ, và chính điều đó khiến một mô hình cỡ điện thoại trở nên khả thi.
Một môi trường chạy như llama.cpp nạp tệp đó, ánh xạ nó vào bộ nhớ, rồi chạy suy luận trên CPU hay bộ tăng tốc thần kinh của máy. Ứng dụng đưa cho nó từ vừa chạm cùng câu xung quanh, và nó trả về câu trả lời từng token một — vì thế một trình đọc cục bộ tốt cho bạn thấy lời giải thích hiện dần chứ không bật ra cùng lúc.
Nên xem xét điều gì
Nếu bạn đang đánh giá một trình đọc tự nhận là cục bộ, những câu hỏi này tách cái thật khỏi lời tiếp thị:
- Việc tra từ có còn chạy ở chế độ máy bay không? Đây mới là phép thử trung thực.
- Có tài khoản không? Xử lý cục bộ và bắt buộc đăng ký vốn khó đi cùng nhau.
- Chính sách quyền riêng tư nói cụ thể những gì rời khỏi máy — và có nêu tên mô hình không?
- Có giới hạn hay tín dụng theo mỗi lần tra không? Chúng thường ngụ ý một hệ thống nền có đếm lượt.
- Nó chạy với tệp của chính bạn, hay chỉ với một cửa hàng mà bạn phải mua?
ClickBook đứng ở đâu
ClickBook được dựng theo lối này một cách có chủ ý. Mô hình chạy trên máy, sách của bạn là những tệp bạn vốn đã sở hữu, không có tài khoản, và văn bản bạn đọc không được gửi đi đâu để xử lý trên đám mây. Việc đọc và tra từ chạy được khi mạng tắt hoàn toàn.
Thử trên sách của chính bạn
Nhập một tệp EPUB hoặc PDF có văn bản thật, chạm vào một từ bạn chưa biết, và xem lời giải thích hiện ra mà không cần kết nối. Xem bên trong ClickBook có gì, hoặc đọc Chính sách quyền riêng tư để biết chi tiết.