यह ब्लॉग पोस्ट COLM 2026 में Yunxiang Zhang और Michigan University के प्रोफेसर Lu Wang द्वारा प्रस्तुत शोध 'Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks' का सारांश है। यह पता लगाता है कि LLM एजेंट्स, Alpha Evolve और Kosmos AI वैज्ञानिस्ट जैसे दावों के बावजूद, असली ML कार्यों में शीर्ष मानव शोधकर्ताओं से कम प्रदर्शन करते हैं। लेखक तर्क देते हैं कि रचनात्मकता--परिभाषा के रूप में दोनों ओरिजिनल और उपयोगी विचारों का उत्पादन--LLM एजेंट्स के प्रदर्शन का आकलन और सुधार के लिए एक उपयोगी लेंस है। रचनात्मक मनोविज्ञान से प्रेरित, वे रचनात्मकता को P-रचनात्मकता (एजेंट की स्मृति के सापेक्ष नवीनता), H-रचनात्मकता (सभी मानव ज्ञान के सापेक्ष नवीनता), प्रभाव और व्यवहार्यता में विभाजित करते हैं। पोस्ट एजेंट फ्रेमवर्क द्वारा रचनात्मक खोज प्रक्रिया को कैसे構造ित और मार्गदर्शन किया जाता है, इसकी जांच करता है, जिससे विभिन्न डिजाइनों में रचनात्मकता के उद्भव और विकास को मापने का लक्ष्य रखता है। Boden, Newell, Shaw, और Simon द्वारा संदर्भित अवधारणात्मक स्थानों में खोज से रचनात्मकता को जोड़ते हुए, यह कार्य एजेंटों के बीच प्रदर्शन अंतर को समझने का लक्ष्य रखता है कि उनके पास कितनी नई और प्रभावी विचार उत्पन्न करने की क्षमता है। लक्ष्य LLM एजेंट्स के लिए बेहतर मूल्यांकन मेट्रिक्स विकसित करना है वैज्ञानिक खोज में रचनात्मकता को मूलता और उपयोगिता के संयोजन के रूप में मापकर।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित