بالتركيز على تقسيم النماذج تحديدًا: كان الهدف قضاء الشهر بأكمله على GLM 5.3 Flash (باللون التركوازي). إليك ما سار بشكل جيد: قضينا بنجاح النصف الأول من الشهر على هذا النموذج فقط. كان استخدام هذا النموذج ضمن ميزانيتنا (68 دولارًا، حوالي 4 كيلوواط ساعة من استخدام الطاقة / 365 جرامًا من انبعاثات الكربون). لم يسير النصف الثاني من الشهر بشكل جيد، حيث ذهبت 1 مليار رمز إلى نماذج أخرى.
اخترنا النموذج 'الخاطئ' للنموذج الأولي، وأنفقنا 450 مليون رمز / 150 دولارًا / 5 كيلوواط ساعة من استخدام الطاقة بين عشية وضحاها تقريبًا. كان بإمكاننا تحقيق نتائج مماثلة على الأرجح بتكلفة أقل 5 مرات. كانت عقبة أخرى غير متوقعة هي مشكلات توفر البنية التحتية. لاحظنا تدهورًا في أداء GLM 5.3 Flash، مما اضطرنا إلى التبديل إلى نماذج أخرى مثل Deep Seek V4.1 Flash و Qwen 3.8 Flash.
لذا من الناحية الفنية، كان هذا التحدي فشلًا. فقط 50% من الاستخدام على النموذج المستهدف، 1 مليار من 2 مليار رمز. حوالي 35 كيلوواط ساعة من استخدام الطاقة بدلاً من 10. لكننا تعلمنا الكثير. بالتفكير في هذا لشهر أكتوبر، إليك ما سيجعله يعمل: قياس وإبلاغ الاستخدام المحلي المستمر. الميزانية للتجريب. قرارات أكثر تنسيقًا حول النماذج الأولية التي تستحق البناء.
بالنسبة للعمل اليومي للمطورين، من الممكن تمامًا التركيز على نموذج أو اثنين من النماذج الرخيصة من فئة الفلاش. الهدف القابل للتطبيق هو أن معظم أعمال استدلال الذكاء الاصطناعي يجب أن تتم باستخدام هذه النماذج الفعالة، مقاسة بالتكلفة أو استخدام الطاقة بدلاً من الرموز التي لا معنى لها. هذا هو هدف أكتوبر!
المصدر: Hacker News · لخّصه HeadlinesBriefing