Jev হল Type Safe-এর নতুন "System One" ক্লাসিফায়ার মডেল। নামটি Daniel Kahneman-এর বই Thinking, Fast and Slow থেকে অনুপ্রাণিত, যেখানে তিনি দ্রুত, সহজাত System One চিন্তা এবং ধীর, সচেতন System Two চিন্তার মধ্যে পার্থক্য করেছেন। Claude বা GPT-এর মতো বড় ভাষার মডেল (LLM) হল System Two মডেল, আর Jev এবং এর পূর্বসূরি (যেমন Laya) হল System One।
Jev একটি প্রাক-প্রশিক্ষিত ট্রান্সফরমার নেয় এবং তার শেষে একটি ক্লাসিফায়ার যুক্ত করে, যা তাৎক্ষণিকভাবে নতুন প্রসঙ্গ ব্যবহার করতে দেয় যখন এটি ক্লাসিফায়ার হিসেবে কাজ করে। আপনি এটিকে প্রসঙ্গ এবং একটি বহুনির্বাচনী প্রশ্ন দেন, এবং এটি বিকল্পগুলির উপর একটি সম্ভাব্যতা বণ্টন ফেরত দেয়। নিচের পুরো পরীক্ষা সিরিজের খরচ $4.00-এর কম।
আমি Maxwell-Boltzmann বণ্টনের মতো সুপরিচিত শারীরিক বণ্টন ব্যবহার করে Jev-এর ক্যালিব্রেশন পরীক্ষা করেছি। আমি 10টি প্রার্থী বণ্টন, প্রতি বণ্টনে 5টি প্রম্পট টেমপ্লেট এবং প্রতি প্রম্পটে 20টি ভিন্নতা বেছে নিয়েছি, মোট 1,000টি সেটিংস। GPT-6 Astra এবং Claude Opus 5.5 পরীক্ষা বাস্তবায়ন, টেমপ্লেট প্রম্পট লেখা এবং API কলের জন্য ব্যবহৃত হয়েছে।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing