HeadlinesBriefing favicon HeadlinesBriefing.com

معايير الفيزياء للنماذج الحدودية معطلة

Hacker News •
×

تشير الدرجات المنخفضة المُبلَّغ عنها في معايير الفيزياء الرائدة، بما في ذلك تلك الموجودة في Artificial Analysis Intelligence Index (2026)، إلى أن نماذج اللغة الحدودية لا تزال تواجه صعوبة في الفيزياء المتقدمة. ومع ذلك، لا يتوافق هذا دائمًا مع تجارب خبراء المجال.

نعيد النظر في هذه النتائج من خلال تقييم النماذج الحدودية على ستة معايير فيزياء مستخدمة على نطاق واسع وتدقيقها مع الخبراء، مع التركيز على المسائل النصية فقط ذات الإجابات النهائية القابلة للتحقق. يراجع أعضاء هيئة التدريس والباحثون من طلاب الدراسات العليا بيانات المسائل والحلول المرجعية واستجابات النماذج لتمييز أخطاء النموذج الحقيقية من أخطاء المصحح والحلول المرجعية غير الصحيحة والأسئلة الغامضة.

معظم الحالات المدققة التي تم تقييمها في البداية على أنها غير صحيحة تعكس مشكلات في وضع المعايير بدلاً من أخطاء في الاستدلال الفيزيائي للنماذج. ثم يصحح الخبراء الحلول المرجعية الخاطئة ويصلحون الأسئلة المعيبة أو يستبعدونها. يرتفع mean@4 المقاس لـ GPT-5.6-Sol من 47.3% إلى 78.7% في HLE-Physics ومن 61.0% إلى 87.2% في CMT-Benchmark، بينما يصل pass@4 المصحح إلى 94.4% في 54 تحديات Crit Pt المحتفظ بها.

تُحسب الدرجات المصححة على مجموعات التقييم المحتفظ بها بعد مراجعة الخبراء. كما ترتفع الدرجات في المجموعات المدققة من UGPhysics وPRISM-Physics وPHYBench بشكل كبير. تشير هذه النتائج إلى أن المعايير الحالية تقلل بشكل كبير من قدرة النماذج الحدودية على حل مسائل الفيزياء المطروحة جيدًا. يُبرز التشبع القريب في هذه المهام المغلقة الحاجة إلى تقييمات أكثر صرامة ومُصادق عليها من الخبراء.

الكيانات الرئيسية: الشركات: arXiv، Artificial Analysis | الأشخاص: Ali Ansari، Haoran Sun، Andy Zeyi Liu، Mark Jabbour، Yongshan Ding، Steven Girvin، Yu He، Sohrab Ismail-Beigi، Aleksander Kubica، Owen D. Miller، Corey O'Hern، Vidvuds Ozolins، David Poland، A. Douglas Stone، Frank C. van den Bosch، Logan Wright، Navid Akbari، Santanu Antu، Kangle Cai، Andrew Calabrese-Day، Mateo Cárdenes Wuttig، Meng Cheng، Barry T. Chiang، Ali Ghorashi، Shouzhen Gu، Haoyang Huang، Zhibo Kang، Lukas Kienesberger، Hantian Liu، Charles Lomba، Zhongling Lu، Wenchao Ma، Rohin E. Mc Intosh، Evan Mc Kinney، Ivan Rojkov، Xulei Sun، Yarone Meir Tokayer، Naveen Balaji Umasankar، Mira Varma، Leda Wang، Qimin Wang، Tyler Wang، Haoyu Wei، Jinming Yang، Jinchen Zhao، Sherlock Tingrui Zhao، Qinyuan Zheng، Jay S. Zou، Lucas Baker، Arman Cohan، John Sous