HeadlinesBriefing favicon HeadlinesBriefing.com

Debate sobre afirmaciones de calibración de Jev

Hacker News •
×

Jev, el primer System One Model de Type Safe, promete probabilidades calibradas para tareas de clasificación sin datos de entrenamiento. El artículo argumenta que, si bien Jev puede producir puntuaciones útiles, su afirmación de calibración es defectuosa. La calibración depende tanto del modelo como de la distribución de los datos; un modelo calibrado en un conjunto de datos puede estar mal calibrado en otro.

El autor destaca un ejemplo de lanzamiento de moneda donde Jev predice una probabilidad de 0.92 de cara, mostrando una grave descalibración. El autor recomienda tratar las salidas de Jev como puntuaciones de clasificación en lugar de probabilidades confiables y sugiere una recalibración económica usando unos pocos cientos de ejemplos etiquetados si se necesitan probabilidades precisas. El artículo enfatiza que el valor de Jev radica en su capacidad para clasificar sin datos, pero los usuarios deben verificar la calibración en sus propios datos antes de confiar en umbrales numéricos o cálculos de costos.