Measuring the Creativity Potential of LLM Agents

This blog post summarizes the research 'Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks' presented at COLM 2026 by Yunxiang Zhang and Professor Lu Wang from the University of Michigan. It explores why LLM agents, despite claims of breakthroughs like Alpha Evolve and Kosmos AI scientist, still underperform top human researchers in real ML tasks. The authors argue that creativity—defined as the production of ideas that are both original and useful—offers a useful lens to evaluate and improve agent performance.

Drawing from creative psychology, they break creativity into P-Creativity (novelty relative to the agent's memory), H-Creativity (novelty versus all human knowledge), impact, and feasibility. The post examines how agent frameworks structure and guide the creative search process, aiming to quantify how creativity emerges and evolves within different designs. By linking creativity to search in conceptual spaces—referencing Boden, Newell, Shaw, and Simon—the work seeks to understand performance differences between frameworks through their ability to support novel and effective idea generation.

The goal is to develop better evaluation metrics for LLM agents in scientific discovery by measuring creativity as a combination of originality and usefulness.

يُلخص هذا المنشور المدونة البحث 'Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks' الذي تم عرضه في COLM 2026 من قبل يونكسيانغ زهانغ وبروفيسور لو وانغ من جامعة ميشيغان. يستكشف لماذا لا تزال وكلاء LLM، على الرغم من الادعاءات بالإنجازات مثل Alpha Evolve وKosmos AI scientist، تؤدي أداءً أقل من باحثين بشر كبار في المهام الحقيقية لـ ML. ويجادل المؤلفون بأن الإبداع--المعرفة على أنه إنتاج أفكار هي في نفس الوقت أصلية ومفيدة--يقدم نظرة مفيدة لتقييم وتحسين أداء الوكيل. مستوحى من علم النفس الإبداعي، يقومون بتفكيك الإبداع إلى P-إبداع (الجديدة relative إلى ذاكرة الوكيل)، H-إبداع (الجديدة versus كل المعرفة البشرية)، التأثير، وقابلية التطبيق. ويناقش المنشور كيف أن إطارات الوكيل تُنظم وتوجه عملية البحث الإبداعي، aiming to quantify how creativity emerges and evolves within different designs. By linking creativity to search in conceptual spaces--referencing Boden, Newell, Shaw, and Simon--يهدف العمل إلى فهم الفروقات في الأداء بين الإطارات من خلال قدرتها على دعم génération أفكار جديدة وفعالة. الهدف هو تطوير مقاييس تقييم أفضل لوكالات LLM في الاكتشاف العلمي بقياس الإبداع كمزيج من الأصالة والفائدة.

এই ব্লগ পোস্ট COLM 2026-তে Yunxiang Zhang এবং Michigan University-এর professor Lu Wang দ্বারা উপস্থাপিত গবেষণা 'Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks' کا সারসংক্ষেপ। এটি খুঁজে বের করে কেন LLM এজেন্টস, Alpha Evolve এবং Kosmos AI scientist-এর দাবি থাকা বাবদ, সত্য ML কাজে টপ মানব গবেষকদের থেকে কম পারফরম্যান্স করে। লেখকরা argue যে--জিনিস যা উভয়ই মূল এবং উপযোগী--রচনা একটি ব্যবহারিক লেন্স হতে পারে মূল্যায়ন এবং এজেন্ট পারফরম্যান্স উন্নত করতে। রচনা মনোবিজ্ঞানের থেকে প্র-রচনা (এজেন্টের মেমোরির সাপেক্ষে নতুনতা), H-রচনা (সকল মানব জ্ঞানের সাপেক্ষে নতুনতা), প্রভাব এবং ব্যবহারযোগ্যতা। পোস্ট দেখায় কীভাবে এজেন্ট ফ্রেমওয়ার্ক রচনা খুঁজে পাওয়ার প্রক্রিয়াকে গঠন এবং নির্দেশ করে, বিভিন্ন ডিজাইনে রচনার উদ্ভব এবং উন্নয়ন পরিমাপ করার লক্ষ্য রাখে। Boden, Newell, Shaw, এবং Simon দ্বারা উল্লেখিত ধারণাবহি'espace-তে খুঁজে পাওয়ালি থেকে রচনা জড়িয়ে নিয়ে, এই কাজ লক্ষ্য রাখে বিভিন্ন ফ্রেমওয়ার্কের মধ্যে পারফরম্যান্স পার্থক্য বোঝা যাক তাদের নতুন এবং কার্যকর ধারণা জেনারেট করার ক্ষমতা দ্বারা। লক্ষ্য হল বিজ্ঞানিক খুঁজে পায়ে জন্য ভালো মূল্যায়ন মেট্রিক্স বিকাশ করা LLM এজেন্টস রচনা মূলতা এবং ব্যবহারযোগ্যতার সংমিশ্রণ পরিমাপ করে।

Dieser Blog-Beitrag fasst die Forschung 'Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks' zusammen, die auf der COLM 2026 von Yunxiang Zhang und Professor Lu Wang von der University of Michigan vorgestellt wurde. Er untersucht, warum LLM-Agenten trotz Claims von Durchbrüchen wie Alpha Evolve und Kosmos AI Scientist in echten ML-Aufgaben immer noch hinter den besten menschlichen Forschern zurückbleiben. Die Autoren argumentieren, dass Kreativität--definiert als Produktion von Ideen, die sowohl originell als auch nützlich sind--ein nützlicher Blickwinkel ist, um die Leistung von Agenten zu bewerten und zu verbessern.

Aus der kreativen Psychologie gezogen, zerlegen sie Kreativität in P-Kreativität (Neuheit relativ zum Gedächtnis des Agents), H-Kreativität (Neuheit gegenüber allen menschlichen Kenntnissen), Wirkung und Umsetzbarkeit. Der Beitrag untersucht, wie Agentenframeworks den kreativen Suchprozess strukturieren und leiten, um zu quantifizieren, wie Kreativität in verschiedenen Designs entsteht und sich entwickelt. Durch die Verknüpfung von Kreativität mit der Suche in Konzepträumen--Referenz auf Boden, Newell, Shaw und Simon--sucht die Arbeit, Leistungsunterschiede zwischen Frameworks durch ihre Fähigkeit, neue und effektive Ideengenerierung zu unterstützen, zu verstehen.

Ziel ist es, bessere Evaluierungsmetriken für LLM-Agenten in der wissenschaftlichen Entdeckung zu entwickeln, indem Kreativität als Kombination aus Originalität und Nutzen gemessen wird.

Esta entrada de blog resume la investigación 'Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks' presentada en COLM 2026 por Yunxiang Zhang y el profesor Lu Wang de la Universidad de Michigan. Explora por qué los agentes LLM, a pesar de afirmaciones de avances como Alpha Evolve y Kosmos AI scientist, aún superan a los principales investigadores humanos en tareas reales de ML. Los autores argumentan que la creatividad--definida como la producción de ideas que son tanto originales como útiles--ofrece una lente útil para evaluar y mejorar el rendimiento del agente.

Dibujando de la psicología creativa, descomponen la creatividad en P-Creatividad (novedad relativa a la memoria del agente), H-Creatividad (novedad versus todo el conocimiento humano), impacto y viabilidad. El post examina cómo los marcos de agentes estructuran y guían el proceso de búsqueda creativa, con el objetivo de cuantificar cómo surge y evoluciona la creatividad dentro de diferentes diseños. Al vincular la creatividad a la búsqueda en espacios conceptuales--referenciando a Boden, Newell, Shaw y Simon--el trabajo busca comprender las diferencias de rendimiento entre marcos a través de su capacidad para apoyar la generación de ideas novedosas y efectivas.

El objetivo es desarrollar mejores métricas de evaluación para agentes LLM en el descubrimiento científico midiendo la creatividad como una combinación de originalidad y utilidad.

Cet article de blog résume la recherche 'Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks' présentée lors de COLM 2026 par Yunxiang Zhang et le professeur Lu Wang de l'Université du Michigan. Elle explore pourquoi les agents LLM, malgré des affirmations de percées comme Alpha Evolve et Kosmos AI scientist, sous-performant toujours les meilleurs chercheurs humains dans des tâches réelles de ML. Les auteurs soutiennent que la créativité--définie comme la production d'idées qui sont à la fois originales et utiles--offre un prisme utile pour évaluer et améliorer les performances des agents.

En s'appuyant sur la psychologie créative, ils décomposent la créativité en P-Créativité (novelty relative à la mémoire de l'agent), H-Créativité (novelty versus tout le savoir humain), impact et faisabilité. L'article examine comment les cadres d'agents structurent et guident le processus de recherche créative, visant à quantifier comment la créativité émerge et évolue au sein de différents designs. En reliant la créativité à la recherche dans les espaces conceptuels--référence à Boden, Newell, Shaw, et Simon--le travail cherche à comprendre les différences de performance entre les cadres grâce à leur capacité à soutenir la génération d'idées nouvelles et efficaces.

L'objectif est de développer de meilleures métriques d'évaluation pour les agents LLM dans la découverte scientifique en mesurant la créativité comme une combinaison d'originalité et d'utilité.

यह ब्लॉग पोस्ट COLM 2026 में Yunxiang Zhang और Michigan University के प्रोफेसर Lu Wang द्वारा प्रस्तुत शोध 'Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks' का सारांश है। यह पता लगाता है कि LLM एजेंट्स, Alpha Evolve और Kosmos AI वैज्ञानिस्ट जैसे दावों के बावजूद, असली ML कार्यों में शीर्ष मानव शोधकर्ताओं से कम प्रदर्शन करते हैं। लेखक तर्क देते हैं कि रचनात्मकता--परिभाषा के रूप में दोनों ओरिजिनल और उपयोगी विचारों का उत्पादन--LLM एजेंट्स के प्रदर्शन का आकलन और सुधार के लिए एक उपयोगी लेंस है। रचनात्मक मनोविज्ञान से प्रेरित, वे रचनात्मकता को P-रचनात्मकता (एजेंट की स्मृति के सापेक्ष नवीनता), H-रचनात्मकता (सभी मानव ज्ञान के सापेक्ष नवीनता), प्रभाव और व्यवहार्यता में विभाजित करते हैं। पोस्ट एजेंट फ्रेमवर्क द्वारा रचनात्मक खोज प्रक्रिया को कैसे構造ित और मार्गदर्शन किया जाता है, इसकी जांच करता है, जिससे विभिन्न डिजाइनों में रचनात्मकता के उद्भव और विकास को मापने का लक्ष्य रखता है। Boden, Newell, Shaw, और Simon द्वारा संदर्भित अवधारणात्मक स्थानों में खोज से रचनात्मकता को जोड़ते हुए, यह कार्य एजेंटों के बीच प्रदर्शन अंतर को समझने का लक्ष्य रखता है कि उनके पास कितनी नई और प्रभावी विचार उत्पन्न करने की क्षमता है। लक्ष्य LLM एजेंट्स के लिए बेहतर मूल्यांकन मेट्रिक्स विकसित करना है वैज्ञानिक खोज में रचनात्मकता को मूलता और उपयोगिता के संयोजन के रूप में मापकर।

Posting blog ini merangkum penelitian 'Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks' yang disajikan di COLM 2026 oleh Yunxiang Zhang dan Profesor Lu Wang dari University of Michigan. Ia menyeliduri mengapa agen LLM, meskipun klaim breakthrough seperti Alpha Evolve dan Kosmos AI scientist, masih kurang performa peneliti manusia terbaik dalam tugas ML sebenar. Para penulis berargumen bahwa kreativitas--didefinisikan sebagai produksi ide yang both original and useful--menyediakan lensa yang berguna untuk menilai dan meningkatkan performa agen.

Dari psikologi kreatif diambil, mereka memecah kreativitas menjadi P-Kreativitas (novelty relatif terhadap memori agen), H-Kreativitas (novelty versus semua pengetahuan manusia), dampak, dan feasibilitas. Posting ini meneliti bagaimana kerangka agen menyusun dan memandu proses pencarian kreatif, dengan tujuan mengukur seberapa kreativitas muncul dan berkembang dalam desain yang berbeda. Dengan menghubungkan kreativitas dengan pencarian dalam ruang konsep--merujuk pada Boden, Newell, Shaw, dan Simon--pekerjaan ini berusaha memahami perbedaan performa antara kerangka melalui kemampuan mereka untuk mendukung generasi ide yang baru dan efektif.

Tujuannya adalah mengembangkan metrik evaluasi yang lebih baik untuk agen LLM dalam pengembangan ilmiah dengan mengukur kreativitas sebagai kombinasi originalitas dan utilitas.

このブログ投稿は、COLM 2026でYunxiang Zhangとミシガン大学のLu Wang教授によって発表された研究「Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks」の要約です。Alpha EvolveやKosmos AI scientistといったブレイクスルーが主張されても、LLMエージェントが実際のMLタスクでトップの人間研究者を上回ることは依然としてないことを探求します。著者は、創造性--オリジナルで有用なアイデアを生成することと定義される--は、エージェントのパフォーマンスを評価し改善するための有用なレンズであると主張します。創造的心理学から着想を得て、彼らはP-創造性（エージェントの記憶相対の新規性）、H-創造性（すべての人間知識相対の新規性）、インパクト、および実現可能性に創造性を分解します。投稿では、エージェントフレームワークがどのように創造的検索プロセスを構造化し、ガイドするかを検討し、さまざまなデザインの中で創造性がどのように浮かび上がり、進化するかを定量化することを目指しています。Boden、Newell、Shaw、Simonによって参照される概念空間での検索と創造性を結びつけることで、この作品は、新規で効果的なアイデア生成をサポートする能力を通じて、フレームワーク間のパフォーマンス差を理解しようとするものです。目標は、科学的発見におけるLLMエージェントのより良い評価指標を開発することで、創造性をオリジナル性と有用性の組み合わせとして測定することです。

Este post de blog resume a pesquisa 'Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks' apresentada no COLM 2026 por Yunxiang Zhang e o professor Lu Wang da Universidade de Michigan. Explora por que agentes LLM, apesar de alegações de quebras como Alpha Evolve e Kosmos AI scientist, ainda subperformam pesquisadores humanos de topo em tarefas reais de ML. Os autores argumentam que a criatividade--definida como a produção de ideias que são tanto originais quanto úteis--oferece um lente útil para avaliar e melhorar o desempenho do agente.

Desenhando da psicologia criativa, eles dividem a criatividade em P-Criatividade (novidade relativa à memória do agente), H-Criatividade (novidade versus todo o conhecimento humano), impacto e viabilidade. O post examina como os frameworks de agentes estruturam e guiam o processo de busca criativa, aiming to quantify how creativity emerges and evolves within different designs. Ao vincular a criatividade à busca em espaços conceituais--referenciando Boden, Newell, Shaw, e Simon--o trabalho busca compreender as diferenças de desempenho entre frameworks através de sua capacidade de apoiar a geração de ideias novas e eficazes.

O objetivo é desenvolver melhores métricas de avaliação para agentes LLM na descoberta científica medindo a criatividade como uma combinação de originalidade e utilidade.

Этот пост в блоге суммирует исследование "Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks", представленное на COLM 2026 Yunxiang Zhang и профессором Lu Wang из Университета Мичигана. Он исследует, почему агенты LLM, несмотря на заявления о прорывах вроде Alpha Evolve и Kosmos AI scientist, все еще уступают топовым человеческим исследователям в реальных задачах ML. Авторы утверждают, что креативность--определенная как производство идей, которые являются одновременно оригинальными и полезными--является полезным критерием для оценки и улучшения производительности агента. Взяв из креативной психологии, они разбивают креативность на P-Креативность (новост relative к памяти агента), H-Креативность (новост versus все человеческие знания), влияние и осуществимость. Пост рассматривает, как рамки агентов структурируют и направляют процесс креативного поиска, ставя целью количественно оценить, как креативность emerges and evolves within different designs. Связывая креативность с поиском в концептуальных пространствах--ссылка на Boden, Newell, Shaw, и Simon--работа стремится понять различия в производительности между фреймворками через их способность поддерживать генерацию новых и эффективных идей. Цель -- разработать лучшие метрики оценки для агентов LLM в научном открытии, измеряя креативность как комбинация оригинальности и полезности.

这篇博客文章总结了在COLM 2026上由云翔张和密歇根大学Lu Wang教授展示的研究'LLM代理能发现吗？评估ML工程任务上的创造力'。探讨了尽管有Alpha Evolve和Kosmos AI科学家等突破，LLM代理为何仍在真实ML任务中表现不如顶尖人类研究人员。作者认为，创造力——定义为原创且有用的想法的产生——是评估和提升代理性能的有用视角。从创造心理学出发，他们将创造力细分为P-创造力（相对于代理记忆的新颖性）、H-创造力（相对于所有人类知识的新颖性）、影响力和可行性。文章探讨了代理框架如何构建和引导创造性搜索过程，旨在量化不同设计中创造力的涌现和演变。通过将创造力与概念空间中的搜索联系起来——参考Boden、Newell、Shaw和Simon——该工作旨在通过其支持新颖且有效的想法生成的能力来理解框架之间的性能差异。目标是通过测量创造力作为原创性和有用性的组合，来开发LLM在科学发现中的更好评估指标。