HeadlinesBriefing HeadlinesBriefing.com

Étalonnage de Jev

Hacker News •
×

Jev est le nouveau modèle classificateur « System One » de Type Safe. Le nom est inspiré du livre de Daniel Kahneman, Thinking, Fast and Slow, dans lequel il distingue la pensée rapide et instinctive du Système Un et la pensée plus lente et consciente du Système Deux. Les grands modèles de langage (LLM) comme Claude ou GPT sont des modèles du Système Deux, tandis que les « modèles de décision » comme Jev et ses prédécesseurs (par exemple Laya) sont du Système Un.

Jev prend un transformateur pré-entraîné et y ajoute un classificateur à la fin, lui permettant d'utiliser immédiatement un nouveau contexte tout en agissant comme un classificateur. Vous lui donnez un contexte et une question à choix multiples, et il renvoie une distribution de probabilité sur les choix. Toute la série d'expériences ci-dessous a coûté moins de 4,00 $.

J'ai testé l'étalonnage de Jev en utilisant des distributions physiques bien connues, comme la distribution de Maxwell-Boltzmann. J'ai choisi 10 distributions candidates, 5 modèles de prompt par distribution et 20 variations par prompt, soit 1 000 réglages au total. GPT-6 Astra et Claude Opus 5.5 ont été utilisés pour implémenter les expériences, écrire les modèles de prompts et les appels API.

Source: Hacker News · Résumé par HeadlinesBriefing