অধিকাংশ টিমগুলি এডিএস স্ট্যাককে অতিরিক্ত ইঞ্জিনিয়ারিং করে, এমবেডিং এবং ভেক্টর ডাটাবেসে ঝুঁকে যায়, যখন ব্যবহারকারীরা সাধারণত নির্দিষ্ট নথিগুলি খোঁজার জন্য চায়। আর্কিটেকচার নির্বাচন করার আগে পাঁচটি মূল উপাদানের বিবেচনা করুন: ডেটা তাজগি, কোরাসের বৈশিষ্ট্য, কুয়েরি প্যাটার্ন, স্কেল এবং টিমের ক্ষমতা।
BM25 এবং পূর্ণ-পাঠ্য খোঁজ (Elasticsearch, Postgres) দিয়ে শুরু করুন। এই পদ্ধতিটি কোনো মেশিন লার্নিং জটিলতা নেয়, কুয়েরি প্রতি খরচ নেয় না, ১০ মিলিসেকের নিচে চলে এবং ডিবাগ করা সহজ। এটি কোনো চুকিং স্ট্রেটেজি বা এবালুয়েশন ওভারহেড ছাড়ায় অনেক কেস হ্যান্ডল করে। মূল সীমাবদ্ধতা হল সমার্থক শব্দের অভাব এবং সেম্যান্টিক কুয়েরির পরে পড়া।
কীওয়ার্ড-ভর্তিপূর্ণ কুয়েরিগুলির জন্য সঠিক ম্যাচ এবং স্ট্যান্ডার্ড টার্মিনোলজির জন্য BM25 আদর্শ। যখন ব্যবহারকারীরা কথোপচারণমূলক কুয়েরি লিখেন, তাদের পুনঃলিখায় এমন একটি LLM ব্যবহার করুন যা সাফল পণ্য কুয়েরি রূপান্তর করে। এটি কুয়েরি প্রতি প্রায় $0.001 খরচ করে এবং সিস্টেম প্রম্পটের সমন্বয়ের মাধ্যমে দ্রুত পুনরাবৃত্তি সম্ভালায়।
এমবেডিংয়ের সাথে, খারাপ ফলাফলের জন্য পুরো কোরাস পুনরায় এমবেড করতে এবং রিগ্রেশন টেস্ট করতে হয়। কুয়েরি পুনঃলিখায়ের সাথে, সমস্যাগুলি সিস্টেম প্রম্পট সামঞ্জস্য করে ঠিক করা যায় এবং তাত্ক্ষণিকভাবে পরীক্ষা করা যায়। সহজে শুরু করুন এবং কেবলমাত্র আপনারা অতিরিক্ত জটিলতার প্রয়োজন যাত্রা যাত্রা করার ডেটা থাকলে এগিয়ে যান।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing