HeadlinesBriefing favicon HeadlinesBriefing.com

Debatte über Jev-Kalibrierungsbehauptungen

Hacker News •
×

Jev, Type Safes erstes System One Model, verspricht kalibrierte Wahrscheinlichkeiten für Klassifizierungsaufgaben ohne Trainingsdaten. Der Artikel argumentiert, dass Jev zwar nützliche Scores liefern kann, seine Kalibrierungsbehauptung jedoch fehlerhaft ist. Die Kalibrierung hängt sowohl vom Modell als auch von der Datenverteilung ab; ein auf einem Datensatz kalibriertes Modell kann auf einem anderen miskalibriert sein.

Der Autor hebt ein Münzwurf-Beispiel hervor, bei dem Jev eine Wahrscheinlichkeit von 0,92 für Kopf vorhersagt, was eine schwerwiegende Miskalibrierung zeigt. Der Autor empfiehlt, Jevs Ausgaben als Ranking-Scores statt als zuverlässige Wahrscheinlichkeiten zu behandeln, und schlägt eine günstige Neukalibrierung mit einigen hundert beschrifteten Beispielen vor, falls genaue Wahrscheinlichkeiten benötigt werden. Der Artikel betont, dass Jevs Wert in seiner Fähigkeit liegt, ohne Daten zu klassifizieren, aber Benutzer müssen die Kalibrierung auf ihren eigenen Daten überprüfen, bevor sie sich auf numerische Schwellenwerte oder Kostenberechnungen verlassen.