डिवाइस पर AI · पढ़ने में 6 मिनट

लोकल AI ई-रीडर क्या है, और आपको इसकी ज़रूरत क्यों?

ज़्यादातर रीडिंग ऐप जो आपके लिए शब्द “समझाते” हैं, वह काम कहीं और करते हैं। लोकल AI ई-रीडर यह काम आपके हाथ में मौजूद डिवाइस पर करता है। बस यही एक फ़र्क़ तय करता है कि ऐप हवाई जहाज़ में क्या कर सकता है, उसे चलाने की लागत क्या है, और आप क्या पढ़ते हैं यह कोई कभी जान पाएगा या नहीं।

छोटी-सी परिभाषा

लोकल AI ई-रीडर एक ऐसा रीडिंग ऐप है जो टेक्स्ट सर्वर पर भेजने के बजाय भाषा मॉडल को सीधे आपके फ़ोन या टैबलेट पर चलाता है। आप कोई शब्द टैप करते हैं, तो व्याख्या डिवाइस पर ही बनती है — डिवाइस में रखी मॉडल फ़ाइल से, डिवाइस के अपने प्रोसेसर की मदद से।

आपने जो वाक्य टैप किया, उसकी कोई बात हार्डवेयर से बाहर नहीं जाती। न कोई API कॉल, न रिक्वेस्ट लॉग, न उस लुकअप से जुड़ा कोई अकाउंट।

यह फ़र्क़ क्यों मायने रखता है

1. यह तब भी चलता है जब नेटवर्क नहीं चलता

क्लाउड लुकअप ठीक उन्हीं हालात में नाकाम होते हैं जहाँ पढ़ना सबसे अच्छा लगता है: हवाई जहाज़ में, मेट्रो में, ख़राब Wi-Fi वाले होटल में, विदेश में बिना डेटा प्लान के। लोकल मॉडल को आपके कनेक्शन से कोई मतलब नहीं। जेब में रखी डिक्शनरी को सिग्नल की ज़रूरत नहीं होती, और जिसने उसकी जगह ली है उसे भी नहीं होनी चाहिए।

2. आपका पढ़ने का इतिहास डेटा बनना बंद हो जाता है

कोई इंसान कौन-से शब्द देखता है, यह हैरान करने वाली हद तक बता देता है। इससे पता चलता है कि आप कौन-सी भाषा सीख रहे हैं, उसमें कितने अच्छे हैं, रात देर तक क्या पढ़ते हैं, चुपचाप किन विषयों को खंगाल रहे हैं। किसी क्लाउड प्रोडक्ट में यह धारा अपने आप सर्वर पर दर्ज होती रहती है — इसलिए नहीं कि कोई बदनीयत है, बल्कि इसलिए कि रिक्वेस्ट लॉग सर्वर के काम करने का तरीक़ा ही है।

जब मॉडल लोकल चलता है, तो वह रिकॉर्ड होता ही नहीं — न रखा जा सकता है, न लीक हो सकता है, न अदालत माँग सकती है, न बेचा जा सकता है। यह गोपनीयता नीति से बड़ी गारंटी है, क्योंकि यह वादे पर नहीं, ढाँचे पर टिकी है।

आपका डेटा न देखने का वादा इस पर टिका है कि कंपनी उसे निभाए। ऐसा ढाँचा जो आपका डेटा कभी लेता ही नहीं, किसी पर नहीं टिका।

3. न मीटर, न हर लुकअप की क़ीमत

क्लाउड इन्फ़रेंस पर डेवलपर का हर टैप पर पैसा लगता है, इसीलिए क्लाउड पर चलने वाले रीडिंग ऐप अक्सर सब्सक्रिप्शन, क्रेडिट या रोज़ की सीमा के साथ आते हैं। लोकल इन्फ़रेंस पर चलते समय डेवलपर का कुछ ख़र्च नहीं होता। आप एक शाम में दो सौ शब्द टैप कर लें, हिसाब वही रहता है।

आप क्या छोड़ते हैं

लोकल AI में भी सौदे करने पड़ते हैं, और जो कोई इससे इनकार करे, वह आपको कुछ बेच रहा है।

• स्टोरेज। काम का मॉडल मेगाबाइट में नहीं, गीगाबाइट में नापा जाता है। पहले से भरे फ़ोन पर यह असली क़ीमत है।
• असली क्षमता। जो मॉडल फ़ोन पर चलने लायक़ छोटा है, वह दुनिया का सबसे बड़ा मॉडल नहीं है। संदर्भ में किसी शब्द का अर्थ बताने के लिए वह ज़रूरत से ज़्यादा है; निबंध लिखवाने के लिए वह सही औज़ार नहीं।
• हार्डवेयर की सीमा। भाषा मॉडल को लोकल चलाना भारी काम है। पुराने या कम मेमोरी वाले डिवाइस या तो यह कर ही नहीं पाते, या इतने धीमे करते हैं कि मज़ा नहीं आता।
• गर्मी और बैटरी। लगातार इन्फ़रेंस से फ़ोन गरम होता है। अच्छे बने लोकल ऐप प्रोसेसर को पूरी रफ़्तार पर दौड़ाने के बजाय अपना काम थोड़ा-थोड़ा करके करते हैं।

यह कैसे काम करता है, संक्षेप में

मॉडल एक क्वांटाइज़्ड फ़ाइल के रूप में आता है — आम तौर पर GGUF फ़ॉर्मैट में — जो मॉडल के वेट्स का संपीड़ित रूप है। क्वांटाइज़ेशन थोड़ी सटीकता देकर आकार और मेमोरी में बड़ी कमी ख़रीदता है, और यही फ़ोन के आकार का मॉडल मुमकिन बनाता है।

llama.cpp जैसा रनटाइम उस फ़ाइल को लोड करता है, उसे मेमोरी-मैप करता है, और डिवाइस के CPU या न्यूरल एक्सेलेरेटर पर इन्फ़रेंस चलाता है। ऐप उसे टैप किया गया शब्द और आसपास का वाक्य सौंपता है, और जवाब टोकन-दर-टोकन वापस भेजता है — इसीलिए अच्छा लोकल रीडर व्याख्या को एक साथ नहीं, धीरे-धीरे बनते हुए दिखाता है।

किन बातों पर ध्यान दें

अगर आप किसी ऐसे रीडर को परख रहे हैं जो ख़ुद को लोकल बताता है, तो ये सवाल असली चीज़ को मार्केटिंग से अलग कर देते हैं:

• क्या हवाई जहाज़ मोड में भी शब्द देखना काम करता है? यही ईमानदार परीक्षा है।
• क्या अकाउंट चाहिए? लोकल प्रोसेसिंग और ज़रूरी साइन-अप का मेल अजीब बैठता है।
• गोपनीयता नीति साफ़-साफ़ क्या बताती है कि डिवाइस से बाहर क्या जाता है — और क्या वह मॉडल का नाम लेती है?
• क्या हर लुकअप की सीमा या क्रेडिट हैं? इनका मतलब आम तौर पर मीटर वाला बैकएंड होता है।
• क्या यह आपकी अपनी फ़ाइलों के साथ चलता है, या सिर्फ़ ऐसे स्टोर के साथ जहाँ से आपको ख़रीदना पड़े?

ClickBook कहाँ खड़ा है

ClickBook जान-बूझकर इसी तरह बनाया गया है। मॉडल डिवाइस पर चलता है, किताबें वे फ़ाइलें हैं जो पहले से आपकी हैं, कोई अकाउंट नहीं है, और आप जो टेक्स्ट पढ़ते हैं वह क्लाउड प्रोसेसिंग के लिए कहीं नहीं भेजा जाता। पढ़ना और शब्द देखना नेटवर्क पूरी तरह बंद होने पर भी काम करता है।