हर एजेंट पहले से ही एक लूप चलाता है। लूप इंजीनियरिंग एजेंट के चारों ओर एक लूप जोड़ती है, जिससे वह अपने आउटपुट का मूल्यांकन कर सकता है, काम कम पड़ने पर फिर से प्रयास कर सकता है, और जब वही गलतियाँ दोहराई जाती हैं तो अपने निर्देशों को परिष्कृत कर सकता है। आज, आप वह भूमिका निभाते हैं: काम की समीक्षा करना, गलत क्या हुआ इसका निदान करना, और एजेंट को फिर से प्रॉम्प्ट करना। यह लेख एक कार्यशील उदाहरण के साथ उस प्रक्रिया को स्वचालित करने का तरीका दिखाता है, साथ ही यह पता लगाता है कि मानवीय निर्णय अभी भी कहाँ आवश्यक है।

70 बिलियन पैरामीटर वाले मॉडल को GPU मेमोरी से लगभग 140 GB वज़न पढ़ने की आवश्यकता होती है। आधुनिक डेटा सेंटर GPU पर, यह स्थानांतरण दसियों मिलीसेकंड ले सकता है। इन वज़न पर लागू वास्तविक गणना उस समय का एक अंश लेती है। इसका मतलब है कि प्रोसेसर की गणित इकाइयाँ टोकन जनरेशन चरण द्वारा लिए गए अधिकांश समय के लिए अप्रयुक्त रहती हैं। स्पेक्युलेटिव डिकोडिंग एक तकनीक है जो इस अप्रयुक्त क्षमता को आउटपुट में परिवर्तित करती है।

एक दूसरा, बहुत छोटा मॉडल पहले से कई उम्मीदवार टोकन उत्पन्न करता है। बड़ा मॉडल उन सभी का मूल्यांकन एक ही फॉरवर्ड पास में करता है, प्रति टोकन एक पास के बजाय, जिसके परिणामस्वरूप 2-3 गुना तेज़ जनरेशन होता है। बेहतर बात यह है कि उत्पादित पाठ सांख्यिकीय रूप से अकेले चलने वाले बड़े मॉडल के आउटपुट के समान रहता है।

टेक्स्ट जनरेशन एक समय में एक टोकन काम करता है। मॉडल अब तक उत्पादित सब कुछ पढ़ता है, अपने शब्दावली पर संभाव्यता वितरण की गणना करता है, अगला टोकन चुनता है, उस टोकन को इनपुट में जोड़ता है, और चक्र दोहराता है। प्रत्येक चक्र को फॉरवर्ड पास कहा जाता है, और हर फॉरवर्ड पास इनपुट को मॉडल की सभी परतों के माध्यम से चलाता है। आधुनिक इंफेरेंस सिस्टम KV कैश का उपयोग करते हैं, जो पहले से संसाधित टोकन के लिए ध्यान स्थिति संग्रहीत करता है, प्रत्येक पास के अंदर काम को कम करता है, हालांकि प्रति टोकन एक पास की आवश्यकता अभी भी बनी रहती है।

मुख्य संस्थाएँ: कंपनियाँ: ByteByteGo