HeadlinesBriefing favicon HeadlinesBriefing.com

Сбои в конвейерах LLM: бессмысленная правильность

Towards Data Science •
×

Бенджамин Нвеке обнаружил тонкий сбой в конвейере LLM после включения структурированных выходов. Его задача по сверке标记了 несоответствия в анализе подтверждений оплаты. Корень причины: модель заполнила обязательное поле даты датой выполнения задачи извлечения, так как не могла вернуть пустоту. Аналогично, открытая система извлечения реализовала семантический кэш с использованием порогов косинусного схождения для избежания избыточной генерации. Однако кэш lacked mechanism to return abstention when questions, despite semantic similarity, demanded opposite correct answers. Это раскрывает критический дефект дизайна, разделяемый механизмами надежности: they narrow output degrees of freedom to simplify downstream processing, but inadvertently remove the ability to abstain. Нарушения ограничений громкие, но принудительные значения silently pass every gate, создавая трудноуловимые сбои. В сценарии кэша хит пропускает и извлечение, и модель полностью, оставляя генерацию для сравнения. Это подчеркивает, что механизмы надежности, несмотря на эффективность в шум reduction, могут маскировать issues provenance, когда правильный ответ - none of the above.