Jev, le premier System One Model de Type Safe, promet des probabilités calibrées pour les tâches de classification sans données d'entraînement. L'article argue que bien que Jev puisse produire des scores utiles, son affirmation de calibrage est défectueuse. Le calibrage dépend à la fois du modèle et de la distribution des données ; un modèle calibré sur un ensemble de données peut être mal calibré sur un autre.

L'auteur met en lumière un exemple de tirage à pile ou face où Jev prédit une probabilité de 0.92 pour face, montrant un mauvais calibrage sévère. L'auteur recommande de traiter les sorties de Jev comme des scores de classement plutôt que des probabilités fiables et suggère un recalibrage peu coûteux utilisant quelques centaines d'exemples étiquetés si des probabilités précises sont nécessaires. L'article souligne que la valeur de Jev réside dans sa capacité à classer sans données, mais les utilisateurs doivent vérifier le calibrage sur leurs propres données avant de s'appuyer sur des seuils numériques ou des calculs de coûts.