অনেক LLM সিস্টেমে একটি শ্রেণীগত ত্রুটি রয়েছে: ডকুমেন্ট পুনরুদ্ধার করা, সেগুলিকে প্রসঙ্গে রাখা, এবং উত্তরকে "ভিত্তিক" বলা। পুনরুদ্ধার প্রমাণের জন্য প্রার্থীদের অ্যাক্সেস দেয়, কিন্তু এটি প্রমাণ করে না যে একটি পুনরুদ্ধার করা অনুচ্ছেদ একটি দাবিকে সমর্থন করে। একটি অনুচ্ছেদ পুরানো, অসম্পূর্ণ, বিষয়গতভাবে অনুরূপ কিন্তু অ-অন্তর্নিহিত, বিরোধপূর্ণ, অবিশ্বস্ত, বা দূষিতভাবে ইনজেক্ট করা হতে পারে। মূল RAG পেপারটি প্রোভেন্যান্সকে একটি খোলা সমস্যা হিসাবে চিহ্নিত করেছে।

পোস্ট-RAG উদ্দেশ্য অবশ্যই একটি প্রমাণ-ভিত্তিক বর্ণনামূলক সিস্টেম হতে হবে যেখানে প্রতিটি বস্তুগত প্রস্তাব পরিদর্শনযোগ্য সমর্থন পায়, প্রতিটি ব্যবসায়িক সিদ্ধান্ত সন্ধানযোগ্য, এবং অনিশ্চয়তার একটি প্রথম-শ্রেণীর উপস্থাপনা থাকে। প্রমাণ সিস্টেম অপ্টিমাইজ করা একটি আর্টিফ্যাক্ট তৈরি করে যা একজন ডেভেলপার পরিদর্শন করতে পারে। নিয়ন্ত্রণের নতুন একক হল পারমাণবিক দাবি, ডকুমেন্ট নয়। একটি দাবি খাতা সমস্ত পারমাণবিক দাবি প্রমাণ এবং নিয়ন্ত্রণ সহ তালিকাভুক্ত করে: একটি স্থিতিশীল claim_id, সঠিক স্প্যান সহ দাবি পাঠ্য, শব্দে শব্দে প্রমাণ স্প্যান, বিষয়বস্তু হ্যাশ সহ ক্যানোনিকাল উৎস, পুনরুদ্ধার প্রসঙ্গ, এবং একটি সমর্থন সিদ্ধান্ত (সরাসরি সমর্থিত, অনুমোদিত সংশ্লেষণ, অপর্যাপ্ত প্রমাণ, বিরোধপূর্ণ প্রমাণ, অসমর্থিত)।

অ-আলোচনাযোগ্য প্রকাশনার গেট: গ্রহণযোগ্য সমর্থন ছাড়া একটি বস্তুগত দাবি সংশোধন, বিরত থাকা, অনুমান হিসাবে লেবেল, বা এসকেলেট করার অনুরোধ। এটি অসমর্থিত সাবলীলতা এবং দৃশ্যমান অনিশ্চয়তার মধ্যে একটি পণ্য সিদ্ধান্ত বাধ্য করে।

মূল সত্তা: কোম্পানি: Towards Data Science