শীর্ষস্থানীয় পদার্থবিজ্ঞান বেঞ্চমার্কে রিপোর্ট করা কম স্কোর, যার মধ্যে Artificial Analysis Intelligence Index (2026)-এর স্কোরও রয়েছে, ইঙ্গিত করে যে ফ্রন্টিয়ার ভাষা মডেলগুলি এখনও উন্নত পদার্থবিজ্ঞানে সংগ্রাম করে। তবুও এটি সর্বদা ডোমেইন বিশেষজ্ঞদের অভিজ্ঞতার সাথে মেলে না।

আমরা ছয়টি বহুল ব্যবহৃত পদার্থবিজ্ঞান বে্চমার্কে ফ্রন্টিয়ার মডেল মূল্যায়ন করে এবং বিশেষজ্ঞদের সাথে অডিট করে এই ফলাফলগুলি পুনর্বিবেচনা করি, যেখানে যাচাইযোগ্য চূড়ান্ত উত্তর সহ শুধুমাত্র পাঠ্য সমস্যাগুলিতে মনোযোগ দেওয়া হয়। অনুষদের সদস্য এবং স্নাতক গবেষকরা সমস্যার বিবৃতি, রেফারেন্স সমাধান এবং মডেলের প্রতিক্রিয়া পর্যালোচনা করেন যাতে প্রকৃত মডেল ত্রুটিগুলিকে গ্রেডার ত্রুটি, ভুল রেফারেন্স সমাধান এবং অস্পষ্ট প্রশ্ন থেকে আলাদা করা যায়।

বেশিরভাগ অডিট করা কেস যা প্রাথমিকভাবে ভুল হিসাবে মূল্যায়ন করা হয়েছিল সেগুলি মডেলের পদার্থবিজ্ঞান যুক্তিতে ত্রুটির পরিবর্তে বেঞ্চমার্কিং সমস্যাগুলি প্রতিফলিত করে। বিশেষজ্ঞরা তখন ভুল রেফারেন্স সমাধানগুলি সংশোধন করেন এবং ত্রুটিপূর্ণ প্রশ্নগুলি মেরামত বা বাদ দেন। GPT-5.6-Sol-এর পরিমাপ করা mean@4 HLE-Physics-এ 47.3% থেকে 78.7%-এ এবং CMT-Benchmark-এ 61.0% থেকে 87.2%-এ বৃদ্ধি পায়, যখন এর সংশোধিত pass@4 54টি ধরে রাখা Crit Pt চ্যালেঞ্জে 94.4%-এ পৌঁছায়।

সংশোধিত স্কোরগুলি বিশেষজ্ঞ পর্যালোচনার পরে ধরে রাখা মূল্যায়ন উপসেটগুলিতে গণনা করা হয়। UGPhysics, PRISM-Physics এবং PHYBench-এর অডিট করা উপসেটগুলিতেও স্কোর উল্লেখযোগ্যভাবে বৃদ্ধি পায়। এই ফলাফলগুলি ইঙ্গিত করে যে বর্তমান বেঞ্চমার্কগুলি সু-প্রণীত পদার্থবিজ্ঞান সমস্যা সমাধানে ফ্রন্টিয়ার মডেলগুলির ক্ষমতাকে যথেষ্ট কম দেখায়। এই বদ্ধ-প্রান্তিক কাজগুলিতে প্রায়-সম্পৃক্ততা আরও কঠিন, বিশেষজ্ঞ-যাচাইকৃত মূল্যায়নের প্রয়োজনীয়তা তুলে ধরে।

মূল সত্তা: কোম্পানি: arXiv, Artificial Analysis | ব্যক্তি: Ali Ansari, Haoran Sun, Andy Zeyi Liu, Mark Jabbour, Yongshan Ding, Steven Girvin, Yu He, Sohrab Ismail-Beigi, Aleksander Kubica, Owen D. Miller, Corey O'Hern, Vidvuds Ozolins, David Poland, A. Douglas Stone, Frank C. van den Bosch, Logan Wright, Navid Akbari, Santanu Antu, Kangle Cai, Andrew Calabrese-Day, Mateo Cárdenes Wuttig, Meng Cheng, Barry T. Chiang, Ali Ghorashi, Shouzhen Gu, Haoyang Huang, Zhibo Kang, Lukas Kienesberger, Hantian Liu, Charles Lomba, Zhongling Lu, Wenchao Ma, Rohin E. Mc Intosh, Evan Mc Kinney, Ivan Rojkov, Xulei Sun, Yarone Meir Tokayer, Naveen Balaji Umasankar, Mira Varma, Leda Wang, Qimin Wang, Tyler Wang, Haoyu Wei, Jinming Yang, Jinchen Zhao, Sherlock Tingrui Zhao, Qinyuan Zheng, Jay S. Zou, Lucas Baker, Arman Cohan, John Sous