온디바이스 AI · 8분 분량

언어 모델은 어떻게 휴대폰에 들어갈까요

로컬 AI 앱은 놀랄 만큼 많은 저장 공간을 요구해요. 앱이 비대해서가 아니에요. 그 기가바이트가 어디로 가는지 알면, 새 휴대폰에서는 빠른 모델이 오래된 휴대폰에서는 굼뜬 이유도 보여요. 파일 이름에 있는 Q3_K_S 같은 표기가 무엇을 말하는지도요.

모델은 거대한 숫자 더미예요

언어 모델은 학습된 파라미터, 그러니까 가중치의 모음이에요. 하나하나가 숫자이고, 그런 숫자가 수십억 개 있어요. 모델 이름의 “2B”는 파라미터가 대략 20억 개라는 뜻이에요.

정밀도를 온전히 유지해 저장하면 가중치 하나가 4바이트를 차지해요. 20억 개를 각각 4바이트로 저장하면 약 8 GB인데, 이것도 작은 축에 드는 모델 이야기예요. 문제는 한 줄로 요약돼요. 숫자가 워낙 많고 하나하나를 정밀하게 저장하기 때문에 파일이 큰 거예요.

양자화: 숫자 하나에 더 적은 비트

양자화는 가중치 하나를 더 적은 비트로 저장해요. 가중치당 32비트 대신 8비트, 4비트, 3비트를 쓰고, 가중치 블록마다 배율을 두어 근사값이 원본에서 멀어지지 않게 해요.

크기는 대체로 비례해서 줄어요.

• 32비트 — 2B 모델 기준 약 8 GB. 온전한 정밀도지만 휴대폰과는 상극이에요.
• 8비트 — 약 2 GB. 원본 품질에 아주 가까워요.
• 4비트 — 약 1.1 GB. 대개 균형이 가장 좋은 지점이에요.
• 3비트 — 약 800 MB. 손실이 눈에 띄지만 여전히 쓸 만해요.
• 2비트 — 더 작아지지만 품질이 가파르게 떨어져요.

JPEG처럼 손실 압축이에요. 충분히 밀어붙이면 흔적이 보이는데, 언어 모델에서는 두루뭉술한 답, 같은 말의 반복, 질문에서 벗어나는 흐름으로 나타나요.

양자화가 모델을 고르게 멍청하게 만드는 건 아니에요. 덜 정밀하게 만들 뿐이고, 그 부정확함은 가장 어려운 입력에서 먼저 드러나요.

파일 이름 읽는 법

예를 들어 Q4_K_M 또는 Q3_K_S 같은 이름은 버전 번호가 아니라 일종의 레시피예요.

• Q4 / Q3 — 가중치 하나에 대략 몇 비트를 쓰는지.
• _K — “k-quant” 방식. 비트 예산을 고르게 쓰지 않고, 모델이 가장 민감한 곳에 정밀도를 더 남겨 둬요.
• _S, _M, _L — 그 방식 안에서 작은 것, 중간 것, 큰 것. 클수록 품질도 용량도 더 남아요.

그러니까 Q3_K_S 같은 이름은 작은 3비트 k-quant를 뜻해요. 과감하게 압축한 쪽이고, 품질의 마지막 몇 퍼센트보다 기기에 들어가는 게 더 중요할 때 고르는 선택이에요.

GGUF: 담는 그릇

GGUF는 양자화된 가중치와, 런타임에 필요한 메타데이터를 함께 담는 파일 형식이에요. 토크나이저, 아키텍처, 프롬프트 템플릿까지요. 파일 하나면 되고, 설정 파일이 든 디렉터리가 따로 필요 없어요.

휴대폰에서 이게 중요한 이유는 GGUF가 처음부터 메모리 매핑방식을 전제로 설계됐기 때문이에요. 1.7 GB를 통째로 RAM에 읽어 들이는 대신, 런타임은 파일을 자기 주소 공간에 매핑하고 운영체제가 실제로 쓰이는 부분만 불러와요. 휴대폰의 남은 RAM보다 큰 모델도 돌아가는 이유고, 앱을 연 뒤 첫 답이 그다음 답보다 느린 이유이기도 해요. 아직 페이지를 가져오는 중이니까요.

휴대폰이 따뜻해지는 이유

단어 하나, 그러니까 토큰 하나를 만들려면 입력을 그 수십억 개의 파라미터에 통과시켜야 해요. 다음 토큰을 위해 또 한 번요. 100단어짜리 답이면 100번을 통과하는 거예요.

CPU나 신경망 가속기에서 계속 이어지는 연산이고, 휴대폰이 발열 면에서 가장 약한 작업이 바로 이런 종류예요. 기기는 뜨거워지면 성능을 낮추기 때문에, 길게 끊김 없이 생성할수록 점점 느려져요. 잘 만든 로컬 앱은 작업을 쉬지 않고 몰아붙이는 대신, 칩이 식을 수 있게 사이를 띄우며 속도를 조절해요.

오래된 휴대폰이 버거워하는 이유

제약이 셋 있고, 셋 다 만만치 않아요.

• 메모리 대역폭. 토큰 하나마다 가중치의 상당 부분을 읽어 와야 해요. 생성 속도는 연산 성능보다 메모리를 얼마나 빨리 읽느냐에 걸리는 경우가 많아요.
• RAM. 메모리 매핑이 도움은 되지만, 이미 여유가 없는 기기라면 계속 페이지를 오가게 되고, 운영체제가 앱을 그냥 종료해 버리기도 해요.
• 가속기. 최신 칩에는 이런 연산에 맞는 하드웨어가 있어요. 오래된 칩은 범용 코어로 처리해서 몇 배 더 느려요.

로컬 AI 앱이 모든 기기를 지원하려 하지 않고 최소 사양을 밝히는 이유예요. 어느 선 아래로 내려가면 경험이 나빠지는 정도가 아니라, 아예 쓸 수가 없어요.

무엇을 내주고 무엇을 얻나요

휴대폰 크기에 맞춘 양자화 모델은 어려운 추론에서 큰 클라우드 모델을 따라가지 못해요. 하지만 이 문장에서 이 단어가 무슨 뜻인지, 이 표현을 어떻게 옮기는지 같은 한정된 일에는 충분하고도 남아요. 게다가 클라우드 모델이 줄 수 없는 세 가지가 따라와요. 연결 없이도 되고, 쓸 때마다 드는 비용이 없고, 글이 기기 밖으로 나가지 않아요.

온디바이스 AI의 거래는 이게 전부예요. 가능한 가장 큰 모델을 포기하는 대신, 프라이버시와 오프라인 사용, 그리고 사용량을 재지 않는 자유를 얻어요.