Ada kesalahan kategori di banyak sistem LLM: mengambil dokumen, menempatkannya dalam konteks, dan menyebut jawaban "berbasis". Pengambilan memberikan akses ke kandidat bukti, tetapi tidak membuktikan bahwa bagian yang diambil mendukung klaim. Sebuah bagian bisa basi, tidak lengkap, serupa secara topikal tetapi tidak mengandung, bertentangan, tidak dipercaya, atau disuntikkan secara jahat. Makalah RAG asli mengidentifikasi provenans sebagai masalah terbuka.

Tujuan pasca-RAG haruslah sistem naratif berbasis bukti di mana setiap proposisi material mendapatkan dukungan yang dapat diperiksa, setiap keputusan bisnis dapat dilacak, dan ketidakpastian memiliki representasi kelas satu. Mengoptimalkan sistem bukti menciptakan artefak yang dapat diperiksa oleh pengembang. Unit kontrol baru adalah klaim atomik, bukan dokumen. Buku besar klaim mencantumkan semua klaim atomik dengan bukti dan kontrol: claim_id yang stabil, teks klaim dengan rentang yang tepat, rentang bukti verbatim, sumber kanonik dengan hash konten, konteks pengambilan, dan keputusan dukungan (didukung langsung, sintesis diizinkan, bukti tidak cukup, bukti bertentangan, tidak didukung).

Gerbang publikasi yang tidak dapat dinegosiasikan: klaim material tanpa dukungan yang dapat diterima adalah permintaan untuk merevisi, abstain, memberi label sebagai inferensi, atau meningkatkan. Ini memaksa keputusan produk antara kelancaran yang tidak didukung dan ketidakpastian yang terlihat.

Entitas Kunci: Perusahaan: Towards Data Science