HeadlinesBriefing favicon HeadlinesBriefing.com

টার্মিনাল-বেঞ্চ-সায়েন্স: AI এজেন্ট বেঞ্চমার্ক রিসার্চের জন্য

Hacker News •
×

টার্মিনাল-বেঞ্চ-সায়েন্স স্ট্যানফোর্ড বিশ্ববিদ্যালয়ের গবেষকদের द्वारा নেতৃত্বকৃত একটি বেঞ্চমার্ক যা বাস্তব বৈজ্ঞানিক গবেষণ থেকে উদ্ভূত ওয়ার্কফ্লোতে AI এজেন্টদের মূল্যায়ন করে। টার্মিনাল-বেঞ্চ টিম দ্বারা নির্মিত এবং বৈজ্ঞানিক বিষয়ের বিভিন্ন ক্ষেত্রের ডোমেইন বিশেষজ্ঞদের সহযোগিতায়, এটি পাঠ্যপুস্তক ব্যায়ামের পরিবর্তে বিশেষজ্ঞ-কিউরেটেড ওয়ার্কফ্লো এর মাধ্যমে AI এজেন্টদের ক্ষমতা মাপে।

প্রথম রিলিজে জীবন, ভৌত, পৃথিবী, গাণিতিক এবং প্রকৌশল বিজ্ঞানে 70 টাস্ক অন্তর্ভুক্ত রয়েছে। মূল্যায়ন করা সবচেয়ে শক্তিশালী মডেল Claude Opus 5 টার্মিনাল-বেঞ্চ-সায়েন্স 0.1-এ 30% সমাধান হার অর্জন করে। অন্যান্য মডেল যেমন GPT-5.6 Sol Codex এবং Claude Fable 5 ক्रमশः 22.4% এবং 21.4% অর্জন করে।

বেঞ্চমার্কটি निरंतरভাবে ডিজাইন করা হয়েছে, যা সীমান্ত AI-এর সাথে নিয়মিত রিলিজের মাধ্যমে বিকাশ পায় যেখানে বিজ্ঞানীরা নতুন ওয়ার্কফ্লো অবদান রাখেন এবং বিদ্যমান টাস্কগুলো উন্নত করেন। এটি বৈজ্ঞানিক প্রয়োজন এবং AI উন্নয়নের মধ্যে একটি ফিডব্যাক লুপ তৈরি করে। লক্ষ্য হলো ऐसे এজেন্টদের উন্নয়নকে প্রोत্সাহিত করা যা উপকারী গবেষণা সহায়ক হিসাবে কাজ করে, প্রযুক্তিগতভাবে চ্যালেঞ্জিং ওয়ার্কফ্লোকে সম্পাদন করে এবং বিজ্ঞানীদের গবেষণা প্রশ্নের সংজ্ঞা formulation, فرضী তৈরি এবং ফলাফलों ব্যাখ্যা করার উপর ফোকাস করতে স্বাধীন করে।

টার্মিনাল-বেঞ্চ-সায়েন্স বাস্তব পরিবেশে এজেন্টদের মূল্যায়ন করে, বিশ্লেষণ, সিমুলেশন, প্রমাণ এবং কোডের মতো ठोस कलाकৃতি को कार्य-विशिष्ट পুনरावृत्ति পরীক্ষার মাধ্যমে মূল্যায়ন করে, বৈজ্ঞানিক ক্ষমতার যাচাইযোগ্য প্রমাণ প্রদান করে।

মुख্য entidades: কোম্পানিগুলো: Claude Opus 5, GPT-5.6 Sol Codex, Claude Fable 5, Claude Opus 4.8, GPT-5.6 Terra Codex, GLM 5.3, Kimi K3, Grok 4.6, GPT-5.6 Luna Codex | অবস্থান: স্ট্যানফোর্ড বিশ্ববিদ্যালয়

সामान्य প্রশ্ন: টার্মিনাল-বেঞ্চ-সায়েন্স কি এবং এটি AI এজেন্টদের কীভাবে মূল্যায়ন করে?

টার্মিনাল-বেঞ্চ-সায়েন্স স্ট্যানফোর্ড বিশ্ববিদ্যালয়ের গবেষকদের द्वारा নেতৃত্বকৃত একটি निरंतर বেঞ্চমার্ক যা একাধিক disciple-এ 70 বিশেষজ্ঞ-কিউরেটেড বৈজ্ঞানিক ওয়ার্কফ্লোতে AI এজেন্টদের মূল্যায়ন করে, কাজ-বিশেষ পুনরাবৃত্তি পরীক্ষার মাধ্যমে ठोस कलाकৃতি মূল্যায়ন করে যাতে ক্ষমতার যাচাইযোগ্য প্রমাণ প্রদান করা যায়।