Nous téléchargeons tous un modèle “AMAZEBALLZ” en espérant des performances maximales, pour découvrir que notre configuration locale fonctionne mal. Cet écart provient de risques spécifiques à l'implémentation lors de l'inférence. Le matériel et les logiciels des laboratoires de référence diffèrent considérablement de nos rigs domestiques. Chaque génération de GPU calcule le prochain jeton différemment, entraînant une divergence naturelle par rapport aux affirmations publiées.

Pour mesurer les performances réelles, exécutez des benchmarks standards comme terminal bench, hle, SWEthis, HELLAthat ou MMLU-whatever. Évitez les tests zero-shot ; les tâches agentic nécessitent un appel d'outils sur contexte long. Alignez exactement les paramètres du sampler. Comme l'a noté @wendell, les maths sont les maths. Utilisez les valeurs par défaut de la fiche modèle : généralement temp 1.0 et top-p 0.95. Une température incorrecte crée des boucles infinies, tandis qu'un sampler désynchronisé déforme les probabilités, rendant les sorties artificielles.

Mathématiquement, suivez la KLD (Divergence KL). Convertissez les logits en distributions de probabilité et mesurez l'écart par rapport à une ligne de base. Une KLD plus basse indique un meilleur alignement, pas une intelligence supérieure. Méfiez-vous des scores irréalistement bas sur les modèles quantifiés HF sans points de contrôle référencés. Ne vous laissez pas piéger par des scores bas sans environnements d'exécution complets. Lancez des tests représentatifs, synchronisez les templates de chat et acceptez que chaque déploiement LLM moderne présente de légères variations.