litellm की रूटिंग + अनुवाद ~2,900 लाइनों और 2 निर्भरताओं (openai, httpx) में। litellm प्रदाताओं के बीच LLM कॉल को रूट करता है और संदेश प्रारूपों के बीच अनुवाद करता है। वह कोर 100k+ LOC के प्रॉक्सी सर्वर, कैशिंग परतों, लागत ट्रैकिंग और दर्जनों सुविधाओं के नीचे दबा हुआ है जिन्हें अधिकांश उपयोगकर्ता कभी नहीं छूते।

litelm केवल कॉल पथ निकालता है — मॉडल रूटिंग, संदेश अनुवाद, स्ट्रीमिंग, टूल उपयोग, एम्बेडिंग — और कुछ नहीं। कोई Router क्लास नहीं, कोई प्रॉक्सी नहीं, कोई कैशिंग नहीं। इंस्टॉल: pip install litelm # openai + httpx; pip install litelm[anthropic] # + anthropic SDK; pip install litelm[bedrock] # + boto3; pip install litelm[all] # सब कुछ।

उपयोग: import litelm; response = litelm.completion("openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}])। प्रत्येक फ़ंक्शन का एक async वेरिएंट है: acompletion, aembedding, aresponses, atext_completion। API litellm की नकल करता है — समान फ़ंक्शन नाम, समान तर्क, समान प्रतिक्रिया प्रकार। स्विच करना आपके आयात में s/litellm/litelm/ है।

क्या शामिल है: मॉडल रूटिंग, संदेश अनुवाद (Anthropic, Bedrock, Cloudflare, Mistral), स्ट्रीमिंग + stream_chunk_builder, टूल उपयोग, एम्बेडिंग, टेक्स्ट पूर्णताएं, OpenAI Responses API, मॉक प्रतिक्रियाएं। क्या बाहर है: Router (लोड बैलेंसिंग, फ़ॉलबैक), प्रॉक्सी सर्वर, कैशिंग/बजटिंग/लागत ट्रैकिंग, टोकन गिनती, इमेज जेन, ऑडियो, OCR, फाइन-ट्यूनिंग, एजेंट, गार्डरेल, शेड्यूलर। "provider/model-name" सिंटैक्स के माध्यम से 19 प्रदाताओं को रूट करता है। कोई भी OpenAI-संगत एंडपॉइंट api_base के माध्यम से काम करता है। सभी प्रदाता त्रुटियां litelm की अपवाद पदानुक्रम में मैप की जाती हैं। litelm मानव-निर्देशित, AI-सहायता प्राप्त सॉफ़्टवेयर है।

मुख्य संस्थाएं: कंपनियां: litellm, litelm, OpenAI, Anthropic, Groq, Mistral, xAI, OpenRouter, Azure, Bedrock, Cloudflare, Together, Fireworks, DeepSeek, Perplexity, DeepInfra, Gemini, Cohere, Ollama, NovLLM, LM Studio, vLLM | स्थान: Paris