ذكاء اصطناعي على الجهاز · قراءة 8 دقائق

كيف يتّسع نموذج لغوي في هاتف

تطلب تطبيقات الذكاء الاصطناعي المحلي قدرًا مفاجئًا من مساحة التخزين، والسبب ليس الترهل. وفهم أين تذهب تلك الغيغابايتات يفسّر أيضًا لماذا يكون النموذج سريعًا على هاتف جديد وبطيئًا على قديم — وماذا يخبرك اسم الملف Q3_K_S فعلًا.

النموذج كومة كبيرة من الأرقام

النموذج اللغوي مجموعة من الوسائط المتعلَّمة — الأوزان. وكل وزن رقم، وعددها بالمليارات. و«2B» في اسم نموذج تعني نحو ملياري وسيط.

وبتخزينها بالدقة الكاملة، يأخذ كل وزن 4 بايتات. وملياري وزن بأربعة بايتات لكل منها تعني نحو 8 غيغابايت، لواحد من النماذج الأصغر وهذه هي المشكلة في سطر واحد: الملف كبير لأن الأرقام كثيرة وكل واحد منها مخزَّن بدقة.

التكميم: بتات أقل لكل رقم

يخزّن التكميم كل وزن ببتات أقل. فبدل 32 بتًا لكل وزن تستخدم 8 أو 4 أو 3 — مع معاملات قياس لكل كتلة أوزان كي يبقى التقريب قريبًا من الأصل.

وخفض الحجم خطي تقريبًا:

هذا ضغط مع فقدان، مثل صورة JPEG. ادفعه بعيدًا بما يكفي فترى الآثار — وفي نموذج لغوي تظهر إجاباتٍ أكثر غموضًا، أو تكرارًا، أو انحرافًا عن السؤال.

والتكميم لا يجعل النموذج أغبى على نحو متجانس. بل يجعله أقل دقة، واللادقة تظهر أولًا على أصعب المدخلات.

قراءة اسم الملف

اسم مثل Q4_K_M أو Q3_K_S وصفة، لا رقم إصدار:

إذن Q3_K_S هو k-quant صغير بثلاثة بتات: مضغوط بقوة، ويُختار حين يكون الاتساع في الجهاز أهم من آخر بضع نقاط مئوية من الجودة.

GGUF: الحاوية

GGUF هي صيغة الملف التي تحمل الأوزان المكمَّمة إضافة إلى البيانات الوصفية التي يحتاجها محرّك التشغيل — المُرمِّز، والمعمارية، وقالب المطالبة. ملف واحد، بلا مجلد مرافق من ملفات الإعداد.

وهي تهم الهواتف لأن GGUF مصمَّمة لتكون مخطَّطة في الذاكرة. فبدل قراءة 1.7 غيغابايت إلى ذاكرة الوصول العشوائي، يخطّط محرّك التشغيل الملف في فضاء عناوينه ويجلب نظام التشغيل الأجزاء المستعملة فعلًا. ولهذا يمكن لنموذج أكبر من الذاكرة الحرة في الهاتف أن يعمل رغم ذلك، ولهذا تكون الإجابة الأولى بعد فتح التطبيق أبطأ من التالية — إذ ما زالت الصفحات تُجلَب.

لماذا يُدفئ الهاتف

توليد كلمة — رمز — يعني تمرير المدخل عبر تلك المليارات من الوسائط. ثم فعل ذلك مجددًا للرمز التالي. فإجابة من مئة كلمة هي مئة تمريرة.

وهذا حساب متواصل على المعالج أو المسرّع العصبي، وهو تحديدًا العبء الذي تكون الهواتف أسوأ ما تكون فيه حراريًا. والأجهزة تخفض أداءها حين تسخن، فتوليد طويل بلا انقطاع يبطؤ كلما استمر. والتطبيقات المحلية المتقنة توزّع عملها — تباعد بين المهام كي تبرد الشريحة — بدل رصّ كل شيء بلا فاصل.

لماذا تتعثر الهواتف القديمة

ثلاثة قيود، وكلها صعبة:

ولهذا تذكر تطبيقات الذكاء الاصطناعي المحلي حدًا أدنى للجهاز بدل محاولة دعم كل شيء. فدون نقطة معينة لا تكون التجربة متدهورة، بل غير صالحة للاستعمال.

المقايضة التي تعقدها

النموذج المكمَّم بحجم هاتف لن يضاهي نموذجًا سحابيًا كبيرًا في الاستدلال الصعب. أما لمهمة محدودة — ماذا تعني هذه الكلمة في هذه الجملة، ترجم هذه العبارة — فهو كافٍ تمامًا، ويأتي بثلاث خصائص لا يقدمها نموذج سحابي: يعمل بلا اتصال، ولا يكلّف شيئًا لكل استعمال، والنص لا يغادر الجهاز أبدًا.

هذه هي صفقة الذكاء الاصطناعي على الجهاز كلها. تتنازل عن أكبر نموذج ممكن، فتحصل على الخصوصية والعمل دون إنترنت وانعدام العدّادات.

كيف يفعلها ClickBook

يأتي ClickBook بنموذج GGUF مكمَّم ويشغّله عبر llama.cpp على جهازك. وعلى iOS يكون مضمَّنًا في التطبيق، فلا شيء لتنزيله. اقرأ المزيد عن القارئات الإلكترونية بذكاء اصطناعي محلي، أو شاهد كيف يعمل ClickBook.