HeadlinesBriefing favicon HeadlinesBriefing.com

Обсуждение утверждений о калибровке Jev

Hacker News •
×

Jev, первая System One Model от Type Safe, обещает откалиброванные вероятности для задач классификации без обучающих данных. В статье утверждается, что хотя Jev может давать полезные оценки, его заявление о калибровке ошибочно. Калибровка зависит как от модели, так и от распределения данных; модель, откалиброванная на одном наборе данных, может быть неоткалиброванной на другом. Автор приводит пример с подбрасыванием монеты, где Jev предсказывает вероятность 0.92 выпадения орла, что показывает серьезную некалибровку. Автор рекомендует рассматривать выходные данные Jev как оценки ранжирования, а не как надежные вероятности, и предлагает дешевую повторную калибровку с использованием нескольких сотен размеченных примеров, если нужны точные вероятности. В статье подчеркивается, что ценность Jev заключается в его способности классифицировать без данных, но пользователи должны проверять калибровку на своих собственных данных, прежде чем полагаться на числовые пороги или расчеты затрат.