온디바이스 AI · 6분 분량

로컬 AI 전자책 리더란 무엇이고, 왜 필요할까요?

단어를 “설명해 준다”는 독서 앱은 대부분 그 일을 다른 곳에서 해요. 로컬 AI 전자책 리더는 손에 든 기기에서 해요. 그 차이 하나가 비행기 안에서 앱이 할 수 있는 일, 앱을 돌리는 비용, 그리고 내가 무엇을 읽는지 남이 알 수 있는 범위를 바꿔요.

짧은 정의

로컬 AI 전자책 리더는 텍스트를 서버로 보내는 대신 휴대폰이나 태블릿에서 언어 모델을 직접 돌리는 독서 앱이에요. 단어를 탭하면 설명이 기기 안에서, 기기에 저장된 모델 파일로, 기기의 프로세서를 써서 만들어져요.

탭한 문장에 관한 어떤 것도 하드웨어 밖으로 나가지 않아요. API 호출도, 요청 로그도, 그 조회에 붙는 계정도 없어요.

이 구분이 중요한 이유

1. 네트워크가 안 될 때도 돼요

클라우드 조회는 하필 독서가 가장 당기는 상황에서 실패해요. 비행기 안, 지하철, Wi-Fi가 고약한 호텔, 데이터 요금제 없이 간 해외에서요. 로컬 모델은 연결 상태에 아무런 의견이 없어요. 주머니 속 사전에 신호가 필요 없듯, 그 자리를 대신한 물건에도 신호가 필요 없어야 맞아요.

2. 읽은 기록이 데이터가 되지 않아요

사람이 찾아보는 단어는 유난히 많은 걸 드러내요. 어떤 언어를 배우는지, 그 실력이 대략 어느 정도인지, 밤늦게 무엇을 읽는지, 조용히 어떤 주제를 알아보고 있는지까지요. 클라우드 제품에서는 그 흐름이 기본적으로 서버에 기록으로 남아요. 누가 나쁜 마음을 먹어서가 아니라, 요청 로그가 원래 서버가 돌아가는 방식이기 때문이에요.

모델이 기기에서 돌면 그 기록은 보관되거나, 유출되거나, 영장에 넘어가거나, 팔릴 수 있는 형태로 아예 존재하지 않아요. 개인정보 처리방침보다 강한 보장이에요. 약속이 아니라 구조에서 나오니까요.

데이터를 들여다보지 않겠다는 약속은 회사가 그 약속을 지켜야 성립해요. 데이터를 애초에 받지 않는 구조는 그럴 필요가 없고요.

3. 사용량 계산도, 조회당 비용도 없어요

클라우드 추론은 탭 한 번마다 개발자에게 비용이 들어요. 클라우드 기반 독서 앱에 구독이나 크레딧, 하루 한도가 따라붙는 이유죠. 로컬 추론은 실행할 때 개발자에게 드는 비용이 없어요. 하룻저녁에 단어를 200개 탭해도 셈법은 달라지지 않아요.

무엇을 내주게 되나요

로컬 AI에 대가가 없는 건 아니에요. 없다고 말하는 쪽은 뭔가를 팔고 있는 거고요.

• 저장 공간. 쓸 만한 모델은 메가바이트가 아니라 기가바이트 단위예요. 이미 꽉 찬 휴대폰에서는 실제로 부담이 돼요.
• 순수한 성능. 휴대폰에서 돌아갈 만큼 작은 모델은 세상에서 가장 큰 모델이 아니에요. 문맥 속 단어 뜻을 알려 주는 데는 차고 넘치지만, 에세이를 대신 써 주는 도구는 아니에요.
• 하드웨어 하한선. 언어 모델을 기기에서 돌리는 건 부담이 큰 일이에요. 오래됐거나 메모리가 적은 기기는 아예 못 하거나, 너무 느려서 쓸 만하지 않아요.
• 발열과 배터리. 추론이 이어지면 휴대폰이 따뜻해져요. 잘 만든 로컬 앱은 프로세서를 끝까지 몰아붙이는 대신 속도를 조절해요.

간단히 말하면 이렇게 작동해요

모델은 양자화된 파일로 들어가요. 보통 GGUF 형식이고, 모델 가중치를 압축해 담은 것이에요. 양자화는 정확도를 조금 내주는 대신 크기와 메모리를 크게 줄여요. 휴대폰 크기의 모델이 가능해지는 건 바로 그 덕분이에요.

llama.cpp 같은 런타임이 그 파일을 불러와 메모리에 매핑하고, 기기의 CPU나 신경망 가속기로 추론을 돌려요. 앱은 탭한 단어와 주변 문장을 함께 넘기고, 답을 토큰 단위로 흘려받아요. 잘 만든 로컬 리더에서 설명이 한 번에 뜨지 않고 조금씩 나타나는 이유예요.

무엇을 확인해야 할까요

로컬로 돌아간다고 말하는 리더를 살펴본다면, 이 질문들이 진짜와 마케팅을 갈라 줘요.

• 비행기 모드에서도 단어 찾기가 되나요? 이게 정직한 시험이에요.
• 계정이 필요한가요? 기기 안에서 처리한다면서 가입을 강제하는 건 서로 어울리지 않아요.
• 개인정보 처리방침이 기기 밖으로 나가는 것을 구체적으로 밝히나요? 모델 이름은 밝히나요?
• 조회 횟수 제한이나 크레딧이 있나요? 보통은 사용량을 재는 백엔드가 있다는 뜻이에요.
• 내 파일로 쓸 수 있나요, 아니면 정해진 스토어에서 사야만 하나요?

ClickBook의 자리

ClickBook은 일부러 이렇게 만들었어요. 모델은 기기에서 돌고, 책은 이미 가지고 있는 내 파일이고, 계정은 없고, 읽는 글은 클라우드 처리를 위해 어디로도 보내지 않아요. 네트워크를 완전히 꺼도 읽기와 단어 찾기가 돼요.