HeadlinesBriefing favicon HeadlinesBriefing.com

Классификация LLM — Это Инженерия Признаков

Hacker News •
×

Использование LLM напрямую в качестве классификаторов представляет серьезные вызовы: они выдают жесткие метки без достоверной калибровки, struggle to incorporate structured data alongside unstructured text, and lack interpretability regarding which prompt elements influence decisions. LLM также несут встроенные приоритеты, которые могут не совпадать с распределением классов целевой популяции.

Решение заключается в том, чтобы рассматривать выходные данные LLM как признаки в традиционной структуре машинного обучения. Оборачивание вердикта LLM с помощью логистической регрессии — p(y=1|x) = σ(α + β·LLM(x)) — восстанавливает калиброванные вероятности, обеспечивая принципиальный контроль порогов для tradeoffs precision-recall. Обучение на помеченных данных адаптирует модель к конкретной baseline популяции и позволяет incorporation дополнительных структурированных ковариант. Перевешивание примеров может дополнительно целевать разные распределения интересов.