litellm-এর রাউটিং + অনুবাদ ~২,৯০০ লাইন এবং ২টি নির্ভরতায় (openai, httpx)। litellm প্রদানকারীদের মধ্যে LLM কল রাউট করে এবং বার্তা ফরম্যাটের মধ্যে অনুবাদ করে। সেই মূল অংশটি ১০০k+ LOC প্রক্সি সার্ভার, ক্যাশিং স্তর, খরচ ট্র্যাকিং এবং ডজন ডজন বৈশিষ্ট্যের নিচে চাপা পড়ে আছে যা বেশিরভাগ ব্যবহারকারী কখনও স্পর্শ করেন না।

litelm শুধুমাত্র কল পাথ বের করে — মডেল রাউটিং, বার্তা অনুবাদ, স্ট্রিমিং, টুল ব্যবহার, এমবেডিং — এবং আর কিছুই নয়। কোনো Router ক্লাস নেই, কোনো প্রক্সি নেই, কোনো ক্যাশিং নেই। ইনস্টল: pip install litelm # openai + httpx; pip install litelm[anthropic] # + anthropic SDK; pip install litelm[bedrock] # + boto3; pip install litelm[all] # সবকিছু।

ব্যবহার: import litelm; response = litelm.completion("openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}])। প্রতিটি ফাংশনের একটি async ভেরিয়েন্ট আছে: acompletion, aembedding, aresponses, atext_completion। API litellm-এর অনুরূপ — একই ফাংশন নাম, একই আর্গুমেন্ট, একই প্রতিক্রিয়া প্রকার। পরিবর্তন করা হলো আপনার ইমপোর্টে s/litellm/litelm/।

যা আছে: মডেল রাউটিং, বার্তা অনুবাদ (Anthropic, Bedrock, Cloudflare, Mistral), স্ট্রিমিং + stream_chunk_builder, টুল ব্যবহার, এমবেডিং, টেক্সট কমপ্লিশন, OpenAI Responses API, মক প্রতিক্রিয়া। যা নেই: Router (লোড ব্যালেন্সিং, ফলব্যাক), প্রক্সি সার্ভার, ক্যাশিং/বাজেটিং/খরচ ট্র্যাকিং, টোকেন গণনা, ইমেজ জেন, অডিও, OCR, ফাইন-টিউনিং, এজেন্ট, গার্ডরেল, শিডিউলার। "provider/model-name" সিনট্যাক্সের মাধ্যমে ১৯টি প্রদানকারীতে রাউট করে। যেকোনো OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্ট api_base-এর মাধ্যমে কাজ করে। সমস্ত প্রদানকারী ত্রুটি litelm-এর ব্যতিক্রম শ্রেণিবিন্যাসে ম্যাপ করা হয়। litelm হলো মানব-নির্দেশিত, AI-সহায়ক সফটওয়্যার।

মূল সত্তা: কোম্পানি: litellm, litelm, OpenAI, Anthropic, Groq, Mistral, xAI, OpenRouter, Azure, Bedrock, Cloudflare, Together, Fireworks, DeepSeek, Perplexity, DeepInfra, Gemini, Cohere, Ollama, NovLLM, LM Studio, vLLM | অবস্থান: Paris