এলএলএম-ভিত্তিক এজেন্টকে কোড লেখা, গবেষণাপত্রের সারসংক্ষেপ তৈরি, ভ্রমণের পরিকল্পনা করা এবং ফর্ম পূরণের মতো অনেক কাজ করতে দেখা যেতে পারে। সম্ভাব্যতা বা কনফিডেন্স স্কোর চাইলে তারা সহজেই একটি দিয়ে দেয়। অনেক এজেন্ট ডিজাইনার এভাবে এলএলএম দিয়ে কনফিডেন্স স্কোর তৈরি করান, কিন্তু সেই সংখ্যাটিকে বিশ্বাস করার কোনো ভালো কারণ নেই।
কেন এমন, তা বুঝতে হলে আগে কনফিডেন্স বলতে কী বোঝায় তা জানা দরকার। ধরুন একজন আবহাওয়াবিদ বললেন, "আমি ৭০% নিশ্চিত যে আগামীকাল বৃষ্টি হবে।" তাঁর এই আত্মবিশ্বাস আসে তিনি যে তথ্য ব্যবহার করছেন তা থেকে, যেমন বর্তমান বায়ুচাপ, আর্দ্রতা ও রাডার, পাশাপাশি বছরের পর বছরের আবহাওয়ার রেকর্ড থেকে। তাত্ত্বিকভাবে, এই তথ্যকে কনফিডেন্সে রূপান্তর করা একটি গণনা। একই তথ্য থাকা দুজন আবহাওয়াবিদ যদি একই নিয়ম সঠিকভাবে প্রয়োগ করেন, তবে তাঁদের একই কনফিডেন্সে পৌঁছানো উচিত। তাঁদের মতভেদ হলে হয় তাঁদের কাছে ভিন্ন তথ্য আছে, নয়তো একজন নিয়মটি ভুলভাবে প্রয়োগ করেছেন।
নির্ভুলতা শুধু বহু পূর্বাভাসের মাধ্যমেই বিচার করা যায়। কোনো আবহাওয়াবিদ যদি অনেক দিন ৭০% বলেন এবং প্রায় ৭০% দিনে বৃষ্টি হয়, তবে তাঁর পূর্বাভাস ক্রমাঙ্কিত (calibrated)। তবে শুধু ক্রমাঙ্কন যথেষ্ট নয়। যিনি সবসময় ৩০% বলেন, অর্থাৎ মৌসুমি গড়, তিনিও ক্রমাঙ্কিত, কিন্তু আগামীকাল সম্পর্কে কোনো তথ্যই ব্যবহার করেন না। একজন কার্যকর পূর্বাভাসক শুধু ক্রমাঙ্কিতই নন, প্রমাণ যখন অনুমতি দেয় তখন ১০% বা ৯০%-এর কাছাকাছি জোরালো কনফিডেন্সও দেন।
অতএব একটি বিশ্বাসযোগ্য কনফিডেন্স স্কোরের দুটি বৈশিষ্ট্য থাকা দরকার: এটিকে উপলব্ধ তথ্যের পরিমাণ প্রতিফলিত করতে হবে এবং একটি দিকে দৃঢ়ভাবে নির্দেশ করতে হবে, আর এটিকে পূর্বাভাস ও ফলাফলের লিখিত রেকর্ডের সঙ্গে মিলিয়ে দেখতে হবে। সেই রেকর্ড ছাড়া স্কোরটি সঠিক কি না জানার কোনো উপায় নেই। লেখকের যুক্তি, এলএলএম নিজে যে কনফিডেন্স তৈরি করে তা এই দুটি শর্তের কোনোটিই পূরণ করে না, আর সেকারণেই এর ওপর নির্ভর করা ভুল।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing