HeadlinesBriefing favicon HeadlinesBriefing.com

litelm: توجيه LLM بسيط في 2,900 سطر

Hacker News •
×

توجيه وترجمة litellm في ~2,900 سطر وتبعيتين (openai، httpx). يقوم litellm بتوجيه استدعاءات LLM عبر المزودين ويترجم بين تنسيقات الرسائل. هذا الجوهر مدفون تحت أكثر من 100k سطر من التعليمات البرمجية لخوادم الوكيل وطبقات التخزين المؤقت وتتبع التكاليف وعشرات الميزات التي لا يلمسها معظم المستخدمين أبدًا.

litelm يستخرج فقط مسار الاستدعاء — توجيه النماذج، ترجمة الرسائل، البث، استخدام الأدوات، التضمينات — ولا شيء آخر. لا فئة Router، لا وكيل، لا تخزين مؤقت. التثبيت: pip install litelm # openai + httpx؛ pip install litelm[anthropic] # + anthropic SDK؛ pip install litelm[bedrock] # + boto3؛ pip install litelm[all] # كل شيء.

الاستخدام: import litelm; response = litelm.completion("openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}]). كل دالة لها نسخة غير متزامنة: acompletion، aembedding، aresponses، atext_completion. واجهة برمجة التطبيقات تحاكي litellm — نفس أسماء الدوال، نفس الوسائط، نفس أنواع الاستجابة. التبديل هو s/litellm/litelm/ في الاستيرادات الخاصة بك.

ما هو مشمول: توجيه النماذج، ترجمة الرسائل (Anthropic، Bedrock، Cloudflare، Mistral)، البث + stream_chunk_builder، استخدام الأدوات، التضمينات، إكمالات النص، OpenAI Responses API، استجابات وهمية. ما هو مستبعد: Router (موازنة التحميل، الاحتياطات)، خادم الوكيل، التخزين المؤقت/الميزانية/تتبع التكاليف، عد الرموز، توليد الصور، الصوت، OCR، الضبط الدقيق، الوكلاء، الحواجز، المجدول. يوجه إلى 19 مزودًا عبر صيغة "provider/model-name". أي نقطة نهاية متوافقة مع OpenAI تعمل عبر api_base. يتم تعيين جميع أخطاء المزود إلى التسلسل الهرمي للاستثناءات في litelm. litelm هو برنامج موجه بشريًا ومدعوم بالذكاء الاصطناعي.

الكيانات الرئيسية: الشركات: litellm، litelm، OpenAI، Anthropic، Groq، Mistral، xAI، OpenRouter، Azure، Bedrock، Cloudflare، Together، Fireworks، DeepSeek، Perplexity، DeepInfra، Gemini، Cohere، Ollama، NovLLM، LM Studio، vLLM | المواقع: Paris

الأسئلة الشائعة: ما هو litelm؟

litelm هو استخراج خفيف لوظائف التوجيه والترجمة الأساسية في litellm، ويتكون من ~2,900 سطر من التعليمات البرمجية وتبعيتين (openai، httpx). يوفر توجيه النماذج، ترجمة الرسائل، البث، استخدام الأدوات، والتضمينات بدون خادم الوكيل، التخزين المؤقت، تتبع التكاليف، أو الميزات الأخرى الموجودة في litellm.

سؤال الأسئلة الشائعة: ما هو litelm؟

إجابة الأسئلة الشائعة: litelm هو استخراج خفيف لوظائف التوجيه والترجمة الأساسية في litellm، ويتكون من ~2,900 سطر من التعليمات البرمجية وتبعيتين (openai، httpx). يوفر توجيه النماذج، ترجمة الرسائل، البث، استخدام الأدوات، والتضمينات بدون خادم الوكيل، التخزين المؤقت، تتبع التكاليف، أو الميزات الأخرى الموجودة في litellm.