अग्रणी भौतिकी बेंचमार्क पर रिपोर्ट किए गए कम स्कोर, जिनमें Artificial Analysis Intelligence Index (2026) में शामिल हैं, बताते हैं कि फ्रंटियर भाषा मॉडल अभी भी उन्नत भौतिकी में संघर्ष करते हैं। फिर भी यह हमेशा डोमेन विशेषज्ञों के अनुभवों के साथ मेल नहीं खाता।

हम छह व्यापक रूप से उपयोग किए जाने वाले भौतिकी बेंचमार्क पर फ्रंटियर मॉडल का मूल्यांकन करके और विशेषज्ञों के साथ उनका ऑडिट करके इन निष्कर्ों पर पुनर्विचार करते हैं, जिसमें सत्यापन योग्य अंतिम उत्तरों वाली केवल-पाठ समस्याओं पर ध्यान केंद्रित किया जाता है। संकाय और स्नातक शोधकर्ता समस्या कथनों, संदर्भ समाधानों और मॉडल प्रतिक्रियाओं की समीक्षा करते हैं ताकि वास्तविक मॉडल त्रुटियों को ग्रेडर त्रुटियों, गलत संदर्भ समाधानों और अस्पष्ट प्रश्नों से अलग किया जा सके।

अधिकांश ऑडिट किए गए मामले जो शुरू में गलत मूल्यांकन किए गए थे, वे मॉडल के भौतिकी तर्क में त्रुटियों के बजाय बेंचमार्किंग समस्याओं को दर्शाते हैं। विशेषज्ञ फिर गलत संदर्भ समाधानों को ठीक करते हैं और त्रुटिपूर्ण प्रश्नों की मरम्मत करते हैं या उन्हें बाहर कर देते हैं। GPT-5.6-Sol का मापा गया mean@4 HLE-Physics पर 47.3% से 78.7% तक बढ़ जाता है और CMT-Benchmark पर 61.0% से 87.2% तक, जबकि इसका संशोधित pass@4 54 बरकरार Crit Pt चुनौतियों पर 94.4% तक पहुंच जाता है।

संशोधित स्कोर विशेषज्ञ समीक्षा के बाद बरकरार मूल्यांकन उपसमूहों पर गणना किए जाते हैं। UGPhysics, PRISM-Physics और PHYBench के ऑडिट किए गए उपसमूहों पर स्कोर भी काफी बढ़ जाते हैं। ये निष्कर्ष बताते हैं कि वर्तमान बेंचमार्क सुव्यवस्थित भौतिकी समस्याओं को हल करने की फ्रंटियर मॉडल की क्षमता को काफी कम आंकते हैं। इन बंद-अंत कार्यों पर लगभग संतृप्ति अधिक मांग वाले, विशेषज्ञ-सत्यापित मूल्यांकन की आवश्यकता को उजागर करती है।

मुख्य संस्थाएं: कंपनियां: arXiv, Artificial Analysis | लोग: Ali Ansari, Haoran Sun, Andy Zeyi Liu, Mark Jabbour, Yongshan Ding, Steven Girvin, Yu He, Sohrab Ismail-Beigi, Aleksander Kubica, Owen D. Miller, Corey O'Hern, Vidvuds Ozolins, David Poland, A. Douglas Stone, Frank C. van den Bosch, Logan Wright, Navid Akbari, Santanu Antu, Kangle Cai, Andrew Calabrese-Day, Mateo Cárdenes Wuttig, Meng Cheng, Barry T. Chiang, Ali Ghorashi, Shouzhen Gu, Haoyang Huang, Zhibo Kang, Lukas Kienesberger, Hantian Liu, Charles Lomba, Zhongling Lu, Wenchao Ma, Rohin E. Mc Intosh, Evan Mc Kinney, Ivan Rojkov, Xulei Sun, Yarone Meir Tokayer, Naveen Balaji Umasankar, Mira Varma, Leda Wang, Qimin Wang, Tyler Wang, Haoyu Wei, Jinming Yang, Jinchen Zhao, Sherlock Tingrui Zhao, Qinyuan Zheng, Jay S. Zou, Lucas Baker, Arman Cohan, John Sous