ذكاء اصطناعي داخل الجهاز · قراءة 8 دقائق

كيف يتّسع نموذج لغوي في هاتف

تطلب تطبيقات الذكاء الاصطناعي المحلي من المساحة ما يفاجئ، وليس السبب ترهلًا. وفهم أين تذهب هذه الغيغابايتات يكشف لك أيضًا لماذا يسرع النموذج في هاتفٍ جديد ويتثاقل في قديم، وماذا يقول لك اسم الملف Q3_K_S فعلًا.

النموذج كومة كبيرة من الأرقام

النموذج اللغوي جملةُ وسائط متعلَّمة تسمى الأوزان. كل وزنٍ رقم، وعددها بالمليارات. و«2B» في اسم نموذجٍ تعني نحو ملياري وسيط.

وبالدقة الكاملة يأخذ كل وزنٍ أربعة بايتات. فملياران من الأوزان، لكل وزنٍ أربعة، تعني نحو ثمانية غيغابايت، وذلك في واحدٍ من النماذج الأصغر وتلك هي المشكلة في سطر: الملف كبيرٌ لأن الأرقام كثيرة، وكل رقمٍ محفوظ بدقّته كاملة.

التكميم: بتات أقل لكل رقم

يخزّن التكميم كل وزنٍ ببتاتٍ أقل: بدل اثنين وثلاثين بتًا للوزن تستعمل ثمانية أو أربعة أو ثلاثة، مع معاملات قياسٍ لكل كتلة أوزانٍ كي يبقى التقريب لصيقًا بالأصل.

وخفض الحجم خطي تقريبًا:

هذا ضغطٌ مع فقدان، كما في صورة JPEG. ادفعه بعيدًا بما يكفي تظهر لك آثاره، وهي تظهر في نموذجٍ لغوي إجاباتٍ أشدّ غموضًا، أو تكرارًا، أو انحرافًا عن السؤال.

والتكميم لا يبلّد النموذج على نحوٍ متساوٍ، بل يجعله أقل دقة. واللادقة تظهر أول ما تظهر في أصعب المدخلات.

قراءة اسم الملف

اسم مثل Q4_K_M أو Q3_K_S وصفة، لا رقم إصدار:

إذن Q3_K_S تكميم «k-quant» صغير بثلاثة بتات: مضغوط بشدة، ويُختار حين يكون اتّساع الجهاز للنموذج أهم من آخر نسبٍ قليلة من الجودة. وبادئة IQ — كما في IQ4_XS الذي يستخدمه ClickBook — تدل على عائلة i-quant الأحدث، إذ تخزّن الأوزان بالإسناد إلى دفتر رموز مشترك، فتحفظ جودة أعلى عند الحجم نفسه.

GGUF: الحاوية

GGUF صيغةُ الملف التي تحمل الأوزان المكمّمة، ومعها ما يحتاجه محرّك التشغيل من بياناتٍ وصفية: المُرمِّز، والمعمارية، وقالب المطالبة. ملفٌ واحد، بلا مجلد إعداداتٍ يرافقه.

وهي تهم الهواتف لأن GGUF مصمَّمة لتكون مخطَّطة في الذاكرة. فبدل أن يقرأ 1.7 غيغابايت إلى ذاكرة الوصول العشوائي، يخطّط محرّك التشغيل الملف في فضاء عناوينه، ويجلب نظام التشغيل ما يُستعمل منه فعلًا. ولهذا يعمل نموذجٌ أكبر من الذاكرة الحرة في الهاتف، ولهذا تكون الإجابة الأولى بعد فتح التطبيق أبطأ مما بعدها، إذ الصفحات ما تزال تُجلب.

لماذا يُدفئ الهاتف

توليد كلمةٍ واحدة، أي رمز، يعني أن يمرّ المدخل عبر تلك المليارات من الوسائط، ثم يعاد ذلك للرمز التالي. فإجابةٌ من مئة كلمةٍ مئةُ تمريرة.

وذلك حسابٌ متصل على المعالج أو المسرّع العصبي، وهو أسوأ عبءٍ تحتمله الهواتف حراريًا. والأجهزة تخفض أداءها إذا سخنت، فيبطؤ التوليد الطويل كلما امتدّ. والتطبيقات المحلية المتقنة توزّع عملها وتباعد بين مهامها لتبرد الشريحة، ولا ترصّ كل شيءٍ بلا فاصل.

لماذا تتعثر الهواتف القديمة

ثلاثة قيود، وكلها صعبة:

ولهذا تذكر تطبيقات الذكاء الاصطناعي المحلي حدًا أدنى للجهاز، ولا تحاول أن تدعم كل شيء. فدون نقطةٍ بعينها لا تتدهور التجربة، بل تتعذّر.

المقايضة التي تعقدها

النموذج المكمّم بحجم هاتفٍ لن يضاهي نموذجًا سحابيًا كبيرًا في الاستدلال الصعب. أما في مهمةٍ محدودة، كأن تسأل عن معنى كلمةٍ في جملتها أو تطلب ترجمة عبارة، فهو كافٍ تمامًا، ويأتيك بثلاث خصالٍ لا يقدمها نموذجٌ سحابي: يعمل بلا اتصال، ولا يكلّفك شيئًا في كل استعمال، ولا يغادر النصُّ جهازك.

تلك هي صفقة الذكاء الاصطناعي في الجهاز كلها: تتنازل عن أكبر نموذجٍ ممكن، فتنال الخصوصية والعمل دون إنترنت وانعدام العدّادات.

كيف يفعلها ClickBook

يأتي ClickBook بنموذج ClickBook Gemma 4 E2B multi، وهو تكميم IQ4_XS لنموذج Gemma 4 E2B، ويشغّله عبر llama.cpp في جهازك. وعلى iOS يكون مضمّنًا في التطبيق، وعلى Android يصل عبر Google Play أثناء الإعداد الأول. اقرأ المزيد عن القارئات ذات الذكاء الاصطناعي المحلي، أو شاهد كيف يعمل ClickBook.

  • حمّله من Google Play
  • قريبًا