स्थानीय रूप से ओपन-वेट मॉडल चलाने के लिए, टीमें Ollama, vLLM, और SGLang के बीच चुनती हैं। प्रत्येक इंजन अनुरोधों को अलग-अलग तरीके से संभालता है। Ollama FIFO के माध्यम से अनुरोधों को कतार में रखता है और पूर्व-क्वांटाइज़्ड GGUF मॉडल चलाता है, जो OpenAI-संगत API के माध्यम से स्थानीय डेवलपमेंट और लैपटॉप हार्डवेयर के लिए सर्वोत्तम है।

उच्च-ट्रैफिक सर्विंग के लिए, vLLM निरंतर बैचिंग और Paged Attention का उपयोग करता है ताकि KV कैश स्टोर किया जा सके। यह नए अनुरोधों को चल रहे बैचों में डालता है, हजारों एक साथ उपयोगकर्ताओं के लिए GPU उपयोग को अधिकतम करता है। वहीं, SGLang प्राफ़िक्स-अवेयर शेड्यूलर और Radix Attention कैश के साथ AI एजेंट्स और मल्टी-टर्न चैट को टारगेट करता है। यह उन्हें पुनः कंप्यूट करने के बजाय साझा प्रॉम्प्ट प्राफ़िक्स को रीयूज़ करता है, टूल लूप और संरचित आउटपुट को अनुकूलित करता है।

इसके अतिरिक्त, Anthropic ने AI-जनरेटेड सामग्री की पहचान करने के लिए टेक्स्ट वॉटरमार्किंग के योजनाएं साझा कीं। LLM आमतौर पर अगले शब्द की प्रायिकताओं को यादृच्छिक रूप से सैंपल करते हैं। वॉटरमार्किंग के साथ, एक की फ़ंक्शन गुप्त कुंजी और पिछले शब्दों के आधार पर वैध उम्मीदवारों को प्रतिबंधित करता है। डिटेक्शन चेक करता है कि क्या उम्मीदवार शब्द पूरे टेक्स्ट में इस नियम से मेल खाते हैं, लगातार गलत नकारात्मक चिंताओं के बावजूद एक AI स्कोर की गणना करता है।

मुख्य इकाइयाँ: कंपनियाँ: Anthropic, ByteByteGo, GitHub | लोग: [PERSON_NAME]

प्रश्न: AI टेक्स्ट वॉटरमार्किंग कैसे काम करती है?

यह जनरेशन के दौरान एक गुप्त कुंजी का उपयोग करके अगले शब्द की प्रायिकता वितरण को संशोधित करती है, जिसमें ऐसे सिग्नल एम्बेड होते हैं जिन्हें टेक्स्ट भर में उत्पन्न शब्दों की जांच करके सत्यापित किया जा सकता है कि वे पूर्व-परिभाषित वैध उम्मीदवारों से मेल खाते हैं या नहीं।