Benjamin Nweke menemukan kegagalan pipeline LLM yang halus setelah mengaktifkan Output Terstruktur. Pekerjaan rekonsiliasinya menandai ketidaksesuaian dalam parsing konfirmasi pembayarannya. Akar penyebab: model mengisi field tanggal yang diperlukan dengan tanggal jalannya pekerjaan ekstraksi karena tidak dapat mengembalikan apa-apa.

Serupa dengan itu, sistem retrieval open-source mengimplementasikan cache semantik menggunakan threshold kesamaan kosinus untuk menghindari generasi redundan. Namun, cache tersebut kekurangan mekanisme untuk mengembalikan abstention ketika pertanyaan, meskipun kesamaan semantik, membutuhkan jawaban benar yang berlawanan. Ini mengungkapkan desain flaw kritis yang dibagi oleh mekanisme kehandalan: they narrow output degrees of freedom to simplify downstream processing, but inadvertently remove the ability to abstain.

Pelanggaran constraint adalah keras, tapi nilai yang dipaksa silently melewati setiap gate, menciptakan kegagalan yang sulit ditangkap. Dalam skenario cache, hit melewatkan retrieval dan model seluruhnya, meninggalkan tidak ada generasi untuk dibandingkan. Temuan ini menekankan bahwa mekanisme kehandalan, meskipun efektif dalam mengurangi noise, dapat masker masalah provenance ketika jawaban benar tidak ada di atas.