The gap in shared understanding of LLM capability is widening

Dusting off this tweet from April because this gap in shared understanding of LLM capability is *widening*. It's now less "two groups of people speaking past each other" and more a sharp funnel. Napkin math somewhere around 6B people (~75% of the population) have barely come in contact with LLMs at all.

Around 1-2B (~20%) are casual and infrequent users of free-tier Chat GPT-like products. This group sees derpy chatbots and treats them a bit like a better Google search, a writing aid, or etc. Maybe an agent tries to book you a flight. I have non-tech friends who (reasonably, imo) say they have not much use for it at all.

Even many professionals outside of math&code are in this tier. For example, execs and many other functions spend a lot of their time talking to other people, so while they understand what is happening intellectually, it is still second-hand and a bit abstract. Now we get to professional use of frontier-grade LLMs in math&code.

Somewhere around 20M people (0.2%) see first-hand that large, complex projects that used to take them weeks/months can now be completed by agents with a prompt. Building apps, copying apps, translating apps, decompiling apps from binaries... This has all happened very quickly and recently - less than 1 year ago, I was writing code manually by hand, typing memorized computer code commands into a code editor character by character, occasionally pressing Tab to autocomplete a little chunk of code.

And finally we get to the ~5,000 people (~0.00006%) with access to frontier-grade systems internally. The external world has seen the preview. It looks like swarms of thousands of agents collaborating over weeks on software mega projects: minting zero days, running cyber attacks and defenses at machine speeds, discovering new science, advancing the frontier of mathematics.

Things that would have taken top professionals in the industry years of work. Meanwhile, human review and comprehension are starting to fall behind. For example, people are still involved in the "archeology" of the Open AI-HF incident from many months ago.

Mathematicians may be poring over the 722 manuscripts on frontier mathematics for a while. The funnel is driven by a combination of factors:1. The impact scales with ambition, problem size, and horizon.

A question with a paragraph answer barely stresses the system. You need a reservoir of big, difficult problems that you really care about. This aspect drives the consumer / professional dimension of the funnel.2.

The jaggedness of the system (which I have written about a lot separately). Capability peaks in domains that are digital, verifiable and economically valuable. This is because LLM capability emerges from reinforcement learning on verifiable rewards on a curated environment mixture driven by revenue potential.

This aspect primarily drives the area (e.g. math&code) dimension of the funnel.3. Access. Free-tier, paid-tier, internal.

So this is the weirdness of the moment. The general public has mostly not interacted with these systems. When they have, it looks like a derpy chatbot.

The majority of professionals still see only a modest uplift. And a small sliver of professionals are experiencing the vertigo of the curve going vertical. And it is all happening at the same time.

تذكير بهذا التغريدة من أبريل لأنه أصبح الفجوة في الفهم المشترك لقدرات LLM *توسع* بشكل مستمر. الآن لم تعد "مجموعتين من الأشخاص يتحدثان في اتجاهات متضادة" بل هي فخّام حادة. رياضيات القش تبين أن حوالي 6 مليار شخص (حوالي 75% من السكان) لم يلامسوا LLM أبداً. حوالي 1-2 مليار شخص (حوالي 20%) هم مستخدمون غير منتظمون للمنتجات المجانية مثل ChatGPT. هذا المجموعة ترى الروبوتات غير الماهرة وتعامل معها كبحث جوجل أفضل، أو مساعد للكتابة، أو ما شابه. ربما يحاول وكيل حجز تذكرة طيران لك. لدي أصدقاء غير تقنيين (معقولين، في رأيي) يقولون إنهم لا يملكون الكثير من الاستخدام له. حتى العديد من المهنيين خارج الرياضيات والبرمجة هم في هذا المستوى. على سبيل المثال، التنفيذيون والوظائف الأخرى يقضون الكثير من وقتهم في التحدث مع الآخرين، لذا على الرغم من أنهم يفهمون ما يحدث عقليًا، فإن ذلك لا يزال غير مباشر وغير ملموس. الآن ننتقل إلى الاستخدام المهني للـ LLM من الدرجة الأولى في الرياضيات والبرمجة. حوالي 20 مليون شخص (0.2%) يرون بأن المشاريع المعقدة التي كانت تستغرق أسابيع أو شهورًا يمكن الآن إكمالها من قبل وكلاء بطلب واحد. إنشاء التطبيقات، نسخ التطبيقات، ترجمة التطبيقات، فك تشفير التطبيقات من الثنائيات... كل هذا حدث بسرعة كبيرة - قبل عام فقط، كنت أكتب الكود يدويًا، أكتب أوامر الحاسوب المحفوظة حرفًا حرفًا في محرر الكود، وأضغط أحيانًا على Tab لتكملة جزء صغير من الكود. وأخيرًا يصلنا إلى ~5,000 شخص (0.00006%) الذين يتمتعون بوصول إلى أنظمة LLM من الدرجة الأولى داخليًا. العالم الخارجي رأى المعاينة، والتي تبدو مثل آلاف الوكلاء يتعاونون على مدار أسابيع على مشاريع برمجيات ضخمة: اكتشاف ثغرات صفرية، تنفيذ هجمات ودفاعات سيبرانية بسرعة آلية، اكتشاف علوم جديدة، وتقدم حدود الرياضيات. ما كان يستغرق سنوات لعلماء محترفين في الصناعة، يحدث الآن. في الوقت نفسه، تبدأ المراجعة والفهم البشري في التأخر. على سبيل المثال، لا يزال الناس مشغولين بـ "حفر الأثر" لحدث OpenAI-HF الذي حدث منذ عدة أشهر. قد يدرس الرياضيون الـ 722 مخطوطة في الرياضيات المتقدمة لوقت طويل. هذا الفخّام يُ pushed بواسطة مزيج من العوامل:1. التأثير يتوسع مع الطموح، حجم المشكلة، و'horizon'. سؤال بالإجابة في فقرة لا يضع ضغطًا كبيرًا على النظام. تحتاج إلى مخزون من مشكلات كبيرة وصعبة تهتم بها. هذا الجانب يدفع الأبعاد الاستهلاكية/المهنية للفخّام.2. عدم التماثل في النظام (عنها كتبت عنها كثيرًا في أماكن أخرى). القمة في المجالات الرقمية، القابلة للتحقق، والقيمة الاقتصادية. يحدث ذلك لأن قدرة LLM تنشأ من التعلم المعزز على مكافآت قابلة للتحقق في مزيج مُختار من البيئات المدعومة بالإيرادات. هذا الجانب يدفع الأبعاد الإقليمية (مثل الرياضيات والبرمجة) للفخّام.3. الوصول. مجاني، مدفوع، داخلي. وبالتالي، هذه هي اللحظة الغريبة. الجمهور العام في الغالب لم يتفاعل مع هذه الأنظمة. عندما تفاعلوا، بدا الأمر مثل روبوت محادثة غير ماهر. معظم المهنيين لا يزالون يرون فقط تحسنًا متواضعًا. وبضعة قليلة من المهنيين يختبرون دوار المنحنى الذي يصعد عموديًّا. وكل هذا يحدث في نفس الوقت.

এপ্রিলের এই টুইটকে মনে করছি কারণ এই LLM সক্ষমতার ভাগ করা বুঝতে পারার দূরত্ব *বাড়ছে*। এখন এটা "দুই গোষ্ঠীর মানুষ একে অপরের সাথে কথা বলছেন" এর পরিবর্তে একটি তীব্র ফানেল। কাগজের ন্যাপকিন গণনা অনুযায়ী প্রায় ৬০০০০০০০০ জন (সম্ভাবনা ৭৫% জনসংখ্যা) এখনও LLM সัม্পর্কে কোনো সংযোগ করেনি। প্রায় ১-২০০০০০০০০ (সম্ভাবনা ২০%) ব্যবহারকারী নিরাপদ এবং অনিয়মিতভাবে ফ্রি টিয়ার চ্যাটজিপিটি-স্টাইলের পণ্যের ব্যবহারকারী। এই গ্রুপটি অপদস্থ চ্যাটবট দেখে এবং তাকে ভালো গুগল সার্চ, লেখার সাহায্য বা এত্যাদি কিছু হিসেবে মনে করে। কখনও কখনও একটি এজেন্ট আপনাকে ফ্লাইট বুক করার চেষ্টা করে। আমার অ-তেকনিক বন্ধু (সম্ভবত, আমার মত) বলে বলে যে তাদের এটা ব্যবহার করার জন্য খুব কম উপায় আছে। এখানে অনেক পেশাদার যা গণিত ও কোডের বাইরে রয়েছে, এটাও এই স্তরে। উদাহরণস্বরূপ, এক্সিকিউটিভ এবং অন্য ফাংশন অনেক সময় অন্যদের সঙ্গে কথা বলতে বিতরে যান, তাই তারা বুঝতে পেরে যে কী ঘটছে, এটি এখনও দ্বিতীয়-হাতের এবং কখনও অ্যাম্পটিক। এখন আমরা পেশাদার ব্যবহারের জন্য প্রাক্তন-গ্রেড LLM-এ সংখ্যা ও কোডে প্রবেশ করছি। প্রায় ২০ মিলিয়ন মানুষ (০.২%) প্রথম-হাতে দেখছে যে জটিল প্রকল্প যা আগে সপ্তাহ/মাস লাগত হয়েছিল, এখন এজেন্টের একটি প্রম্পট দিয়ে সম্পন্ন করা যায়। অ্যাপ বানানো, অ্যাপ কপি করা, অ্যাপ অনুবাদ করা, বাইনারি থেকে ডিকম্পাইল করা... সবকিছু খুব দ্রুত ঘটেছে এবং এখনও কিছুদিন আগে - এক বছরের আগে আমি কোড ম্যানুয়ালি লিখতাম, মেমরাইজড কম্পিউটার কমান্ড অক্ষর-অক্ষর এডিটরে টাইপ করতাম, কখনও কখনও ট্যাব চাপিয়ে ছোট অংশের কোড স্বয়ংক্রিয়ভাবে সম্পন্ন করতাম। শেষ পর্যন্ত ~৫,০০০ মানুষ (০.০০০০৬%) আপনার অভ্যন্তরীণ শেষ-গ্রেড সিস্টেমের অ্যাক্সেস পেয়েছে। বাহ্যিক বিশ্বটি পূর্বাভাস দেখেছে, যা হাজার হাজার এজেন্টের ঝড়ের মতো দেখায় যা সপ্তাহের সময় সফটওয়্যার মেগা প্রকল্পে সহযোগিতা করছে: শূন্য দিনের অপবেশ খুঁজে বের করা, মেশিন গতিে সাইবার আক্রমণ ও রক্ষা করা, নতুন বিজ্ঞান খুঁজে বের করা এবং গণিতের সীমা অগ্রগতি করা। যা শিল্পের সর্বোচ্চ পেশাদারদের জন্য বছর লাগত হয়েছিল, এখন ঘটছে। একই সময়ে, মানুষের সমালোচনা ও বুঝতে পারা শুরুতেই পিছনে পড়ছে। উদাহরণস্বরূপ, মানুষ এখনও OpenAI-HF ঘটনার "পতাকা" কাজে লিপ্ত। বিজ্ঞানী ৭২২ টপিক ম্যানুস্ক্রিপ্টের সামনে কিছু সময় বিশ্লেষণ করতে পারে। এই ফানেলটি তিনটি faktor দ্বারা চালিত হয়:1. প্রভাব ambition, সমস্যা আকার এবং হরাইজন দ্বারা স্কেল হয়। একটি পরাগ্রাফ উত্তরযুক্ত প্রশ্নটি সিস্টেমের উপর বেশি চাপ না রাখে। আপনি দরকার একটি বড় এবং কঠিন সমস্যা যা আপনি সত্যি স cares করছেন। এই দিকটি গ্রাহক/পেশাদার আয়তন ফানেল চালায়।2. সিস্টেমের অনিয়মিততা (যে আমি আগে অনেক জায়গায় লিখেছি)। ক্ষমতা ডিজিটাল, যাচাইযোগ্য এবং অর্থনৈতিক মূল্যের ক্ষেত্রে চরমে পৌঁছায়। এটি কারণ LLM ক্ষমতা সত্যাপনামূলক পুরস্কারে শক্তিশালী লার্নিং থেকে উভৃত হয়, একটি ক্যুরেটেড পরিবেশের মিশ্রণে যা আয়ের সম্ভাবনা দ্বারা চালিত হয়। এই দিকটি প্রধানত অঞ্চল (যেমন, গণিত ও কোড) ফানেলের আয়তনকে চালায়।3. অ্যাক্সেস। ফ্রি-টিয়ার, পেইড-টিয়ার, ইন্টার্নাল। তাই এখন সময়ের অদ্ভুত ঘটনা। সাধারণ জনগোষ্ঠীতে অধিকাংশ এগুলো সিস্টেমের সাথে ইন্টারঅ্যাক্ট করেনি। যখন তারা ইন্টারঅ্যাক্ট করেছিল, তখন এটি একটি অপদস্থ চ্যাটবটের মতো দেখায়। অধিকাংশ পেশাদার শুধু মাঝারি উন্নতি দেখে। এবং একটি ছোট অংশ পেশাদার কোয়ারভের বৃত্তের উর্দ্বাকার বৃদ্ধি অনুভব করছে। সবকিছু একসাথে ঘটছে।

Sacando a relucir este tweet de abril, porque esta brecha en la comprensión compartida de las capacidades de los LLM está *se expandiendo*. Ya no es "dos grupos de personas hablando en direcciones opuestas", sino un embudo afilado. Matemáticas sobre servilleta indican que alrededor de 6.000 millones de personas (aproximadamente el 75% de la población) apenas han tenido contacto con los LLM.

Alrededor de 1.000 a 2.000 millones (aproximadamente el 20%) son usuarios casuales e infrecuentes de productos gratuitos tipo Chat GPT. Este grupo ve chatbots torpes y los trata como una búsqueda de Google mejor, una ayuda para escribir o similar. Tal vez un agente intenta reservar un vuelo para ti.

Tengo amigos no técnicos que (razonablemente, en mi opinión) dicen que no tienen mucho uso para ello. Incluso muchos profesionales fuera de matemáticas y programación están en este nivel. Por ejemplo, ejecutivos y otras funciones pasan mucho tiempo hablando con otras personas, por lo que aunque comprenden intelectualmente lo que ocurre, sigue siendo en segundo plano y algo abstracto.

Ahora llegamos al uso profesional de los LLM de última generación en matemáticas y programación. Alrededor de 20 millones de personas (0,2%) ven en primera persona que proyectos complejos que antes tomaban semanas o meses ahora pueden completarse por agentes con un solo prompt. Construir aplicaciones, copiar aplicaciones, traducir aplicaciones, decompilar aplicaciones desde binarios...

Todo esto ha ocurrido muy rápido y recientemente -menos de un año atrás, yo escribía código manualmente, tecleando memorizados comandos de código carácter por carácter, ocasionalmente presionando Tab para autocompletar un pequeño fragmento de código. Finalmente llegamos a los ~5.000 personas (0,00006%) con acceso a sistemas de última generación internos. El mundo exterior ha visto la vista previa.

Se parece a enjambres de miles de agentes colaborando durante semanas en proyectos de software masivos: descubriendo vulnerabilidades de día cero, ejecutando ataques y defensas cibernéticas a velocidades de máquina, descubriendo nuevas ciencias y avanzando en la frontera de las matemáticas. Cosas que tomarían a los profesionales líderes en la industria años de trabajo. Al mismo tiempo, la revisión y comprensión humanas están comenzando a quedarse atrás.

Por ejemplo, la gente sigue involucrada en la "arqueología" del incidente OpenAI-HF de hace muchos meses. Los matemáticos podrían estar revisando las 722 manuscritos de matemáticas de vanguardia durante un tiempo. Este embudo se impulsa por una combinación de factores:1.

El impacto se escala con la ambición, el tamaño del problema y el horizonte. Una pregunta con una respuesta de párrafo apenas estresa al sistema. Necesitas un depósito de problemas grandes y difíciles que realmente te importen.

Este aspecto impulsa la dimensión de consumidor/profesional del embudo.2. La irregularidad del sistema (sobre la que he escrito mucho por separado). La capacidad alcanza su pico en dominios digitales, verificables y económicamente valiosos.

Esto se debe a que la capacidad de los LLM emerge del aprendizaje por refuerzo sobre recompensas verificables en un entorno curado impulsado por el potencial de ingresos. Este aspecto principalmente impulsa la dimensión del área (por ejemplo, matemáticas y programación) del embudo.3. Acceso.

Gratuito, pagado, interno. Por lo tanto, esta es la extrañeza del momento. El público en general ha interactuado en su mayoría con estos sistemas.

Cuando lo han hecho, se parece a un chatbot torpe. La mayoría de los profesionales aún ven solo un modesto aumento. Y una pequeña fracción de profesionales están experimentando la vértigo de la curva que sube verticalmente.

Todo esto ocurre simultáneamente.

En fouillant ce tweet d'avril, car cette lacune dans la compréhension partagée des capacités des LLM *s'aggrave*. Ce n'est plus "deux groupes de personnes parlant en sens opposés", mais un entonnoir aigu. Calculs approximatifs indiquent environ 6 milliards de personnes (environ 75 % de la population) n'ont à peine eu contact avec les LLM.

Environ 1 à 2 milliards (environ 20 %) sont utilisateurs occasionnels et peu fréquents de produits gratuits comme ChatGPT. Ce groupe voit des chatbots maladroits et les considère comme une recherche Google améliorée, un outil d'écriture ou similaire. Peut-être qu'un agent essaie de vous réserver un vol.

J'ai des amis non techniques (raisonnables, à mon avis) qui disent qu'ils n'ont pas beaucoup d'utilité. Beaucoup de professionnels en dehors des mathématiques et de la programmation sont dans ce niveau. Par exemple, les cadres et d'autres fonctions passent beaucoup de temps à parler aux autres, donc bien qu'ils comprennent intellectuellement ce qui se passe, c'est encore secondaire et abstrait.

Maintenant, nous passons à l'utilisation professionnelle des LLM de pointe en mathématiques et en programmation. Environ 20 millions de personnes (0,2 %) voient de première main que des projets complexes qui prenaient des semaines ou des mois peuvent maintenant être réalisés par des agents avec un simple prompt. Créer des applications, copier des applications, traduire des applications, décompiler des applications à partir de binaires...

Tout cela s'est produit très rapidement et récemment - il y a moins d'un an, je codais manuellement, tapais des commandes mémorisées caractère par caractère dans un éditeur, parfois en appuyant sur Tab pour autocompléter un petit morceau de code. Enfin, nous arrivons à environ 5 000 personnes (0,00006 %) ayant accès aux systèmes de pointe internes. Le monde extérieur a vu l'aperçu, qui ressemble à des essaims de milliers d'agents collaborant pendant des semaines sur des projets logiciels massifs : découverte de vulnérabilités zero-day, exécution d'attaques et de défenses cybernétiques à la vitesse de la machine, découverte de nouvelles sciences, avancement de la frontière des mathématiques.

Ce qui prenait des années aux meilleurs professionnels de l'industrie se fait maintenant. Parallèlement, la révision et la compréhension humaines commencent à être en retard. Par exemple, les gens sont encore impliqués dans l'« archéologie » de l'incident OpenAI-HF de plusieurs mois.

Les mathématiciens peuvent passer du temps à examiner les 722 manuscrits de mathématiques de pointe. Le funicule est piloté par une combinaison de facteurs :1. L'impact s'accroît avec l'ambition, la taille du problème et l'horizon.

Une question avec une réponse de paragraphe ne sollicite pas beaucoup le système. Vous avez besoin d'un réservoir de problèmes grands et difficiles qui vous tiennent à cœur. Cet aspect entraîne la dimension consommateur/professionnelle du funicule.2.

La nature irrégulière du système (dont j'ai écrit beaucoup ailleurs). La capacité atteint son pic dans les domaines numériques, vérifiables et économiquement valorisés. C'est parce que la capacité des LLM émerge de l'apprentissage par renforcement sur des récompenses vérifiables dans un mélange d'environnements curaté, motivé par le potentiel de revenus.

Cet aspect entraîne principalement la dimension du domaine (par exemple, mathématiques et programmation) du funicule.3. L'accès. Gratuit, payant, interne.

Ainsi, cette époque est étrange. Le grand public a en majorité non interagi avec ces systèmes. Quand ils ont interagi, cela ressemblait à un chatbot maladroit.

La majorité des professionnels ne voient qu'une modeste amélioration. Et une petite fraction de professionnels vit le vertige de la courbe qui monte verticalement. Tout cela se produit simultanément.

एप्रैल के इस ट्वीट को याद कर रहे हैं क्योंकि इस एलएलएम क्षमता के साझा समझ का अंतर *विस्तारित* हो रहा है। अब यह "दो समूहों के लोग एक-दूसरे को पढ़ते हुए" की स्थिति नहीं है, बल्कि एक तीव्र फनल है। नैपकिन गणना के अनुसार लगभग 60 करोड़ लोग (लगभग 75% जनसंख्या) ने अभी तक एलएलएम से संपर्क नहीं किया है। लगभग 1-20 करोड़ लोग (लगभग 20%) मुफ्त टियर चैटजीपीटी-टाइप उत्पादों के अवसरहीन और अनियमित उपयोगकर्ता हैं। इस समूह ने अजीब चैटबॉट देखे और उन्हें बेहतर गूगल सर्च, लेखन सहायता या अन्य कुछ चीज़ों की तरह माना। शायद एक एजेंट आपको उड़ान बुक करने की कोशिश करता है। मेरे गैर-तकनीकी दोस्त (तर्कसंगत, मेरी राय में) कहते हैं कि उन्हें इसका बहुत उपयोग नहीं है। कई पेशेवर जो गणित और कोड के बाहर हैं, इस स्तर में भी हैं। उदाहरण के लिए, कार्यकारी और अन्य पदों वाले लोग अपने अधिकांश समय दूसरों से बात करने में बिताते हैं, इसलिए जबकि वे समझते हैं कि क्या हो रहा है, यह अभी भी दूसरा हाथ से और थोड़ा अमूर्त है। अब हम पेशेवर उपयोग के अंतिम-ग्रेड एलएलएम के संख्या और कोड में प्रवेश करते हैं। लगभग 20 मिलियन लोग (0.2%) ने पहली बार देखा है कि जटिल परियोजनाएं जो पहले उन्हें हफ्तों/महीनों में लेती थीं, अब एजेंट के एक प्रॉम्प्ट से पूरा हो सकती हैं। ऐप बनाना, ऐप कॉपी करना, ऐप अनुवाद करना, बाइनरी से डीकम्पाइल करना... यह सब बहुत जल्दी हुआ है - एक साल पहले भी मैं कोड को मैन्युअल रूप से लिखता था, एडिटर में याद किए गए कमांड अक्षर-दर-अक्षर टाइप करता था, कभी-कभी टैब दबाकर थोड़ा कोड स्वचालित करता था। अंत में, ~5,000 लोग (0.00006%) के पास आंतरिक अंतिम-ग्रेड सिस्टम तक पहुंच है। बाहरी दुनिया ने पूर्वावलोकन देखा है, जो हजारों एजेंट के झुंड की तरह लग रहा है जो हफ्तों तक सॉफ्टवेयर मेगा परियोजनाओं पर सहयोग करते हैं: शून्य-दिवस का पता लगाना, मशीन गति पर साइबर हमलों और रक्षा करना, नई विज्ञान का पता लगाना और गणित के सीमा को आगे बढ़ाना। जो काम उद्योग के शीर्ष पेशेवरों के लिए वर्षों लेता था, वह अब हो रहा है। साथ ही, मानव समीक्षा और समझ में गिरावट शुरू हो रही है। उदाहरण के लिए, लोग अभी भी OpenAI-HF घटना की "अन्वेषण" में शामिल हैं जो कई महीने पहले हुई थी। गणितज्ञ 722 शीर्षक वाले अंतिम गणित मैन्युस्क्रिप्ट पर कुछ समय तक विचार कर सकते हैं। यह फनल तीन कारकों द्वारा संचालित है:1. प्रभाव ambition, समस्या आकार और क्षितिज के साथ बढ़ता है। एक पैराग्राफ उत्तर से प्रणाली पर कम दबाव पड़ता है। आपको ऐसे बड़े और कठिन समस्याओं की आवश्यकता है जो आप परवाह करते हैं। यह उपभोक्ता/पेशेवर आयाम को चलाता है।2. प्रणाली की असमानता (जिसके बारे में मैंने पहले भी बहुत लिखा है)। क्षमता डिजिटल, सत्यापनीय और आर्थिक रूप से मूल्यवान क्षेत्रों में चरम पर आती है। ऐसा इसलिए है क्योंकि LLM क्षमता सत्यापनीय इनामों पर एक क्यूरेटेड मिश्रण में रीइन्फोर्समेंट लर्निंग से उभरती है, जो राजस्व संभावना द्वारा संचालित होती है। यह मुख्य रूप से क्षेत्र (जैसे गणित और कोड) के आयाम को चलाता है।3. पहुंच। मुफ्त, भुगतान, आंतरिक। इसलिए यह वर्तमान समय की अजीब बात है। आम जनता ने अधिकांशतः इन प्रणालियों के साथ बातचीत नहीं की है। जब वे बातचीत करते हैं, तो यह एक बेकार चैटबॉट जैसा दिखता है। अधिकांश पेशेवर केवल उल्लेखनीय वृद्धि देखते हैं। और एक छोटी अल्पसंख्यक पेशेवरों को वक्र के ऊर्ध्वाधर बढ़ने की चक्कर महसूस होती है। यह सब एक साथ हो रहा है।

Limpando este tweet de abril porque esta lacuna na compreensão compartilhada das capacidades dos LLM *está se ampliando*. Agora não é mais "dois grupos de pessoas falando em direções opostas", mas um funil afiado. Cálculos aproximados indicam que cerca de 6 bilhões de pessoas (aproximadamente 75% da população) mal entraram em contato com LLM.

Cerca de 1 a 2 bilhões (aproximadamente 20%) são usuários casuais e infrequentes de produtos gratuitos como ChatGPT. Este grupo vê chatbots desajeitados e os trata como uma busca Google melhor, uma ajuda para escrever ou etc. Talvez um agente tente reservar um voo para você. Tenho amigos não técnicos (razoáveis, na minha opinião) que dizem que não têm muito uso para isso.

Muitos profissionais fora de matemática e programação estão nesse nível. Por exemplo, executivos e outras funções passam muito tempo falando com outras pessoas, então, embora entendam intelectualmente o que está acontecendo, ainda é secundário e um pouco abstrato. Agora chegamos ao uso profissional de LLM de última geração em matemática e programação.

Cerca de 20 milhões de pessoas (0,2%) veem de primeira mão que projetos complexos que antes levavam semanas ou meses agora podem ser concluídos por agentes com um único prompt. Construir aplicativos, copiar aplicativos, traduzir aplicativos, decompilar aplicativos de binários... Tudo isso aconteceu muito rapidamente e recentemente - há menos de um ano eu escrevia código manualmente, digitando memorizados comandos de código caractere por caractere no editor, às vezes pressionando Tab para autocompletar um pequeno pedaço de código.

Finalmente chegamos a cerca de 5.000 pessoas (0,00006%) com acesso a sistemas de última geração internos. O mundo exterior viu a prévia, que parece enxame de milhares de agentes colaborando durante semanas em projetos de software massivos: descoberta de zero-days, execução de ataques e defesas cibernéticas à velocidade de máquina, descoberta de novas ciências, avanço da fronteira da matemática. O que levaria anos para os melhores profissionais da indústria, agora acontece.

Ao mesmo tempo, a revisão e compreensão humanas começam a ficar para trás. Por exemplo, as pessoas ainda estão envolvidas na "arqueologia" do incidente OpenAI-HF de há muitos meses. Os matemáticos podem passar algum tempo examinando os 722 manuscritos de matemática de ponta.

O funil é impulsionado por uma combinação de fatores:1. O impacto escala com a ambição, o tamanho do problema e o horizonte. Uma pergunta com resposta de parágrafo mal estressa o sistema.

Você precisa de um depósito de problemas grandes e difíceis que realmente se importam. Este aspecto impulsiona a dimensão de consumidor/profissional do funil.2. A irregularidade do sistema (sobre a qual escrevi muito separadamente).

A capacidade atinge seu pico em domínios digitais, verificáveis e economicamente valiosos. Isso ocorre porque a capacidade dos LLM emerge do aprendizado por reforço em recompensas verificáveis em um misto de ambientes curatado impulsionado pelo potencial de receita. Este aspecto principalmente impulsiona a dimensão do domínio (por exemplo, matemática e programação) do funil.3.

Acesso. Gratuito, pago, interno. Portanto, esta é a estranheza do momento.

O público em geral não interagiu com esses sistemas. Quando interagiram, pareceu um chatbot desajeitado. A maioria dos profissionais ainda vê apenas um modesto aumento.

E uma pequena fração de profissionais está sentindo o vértigo da curva que sobe verticalmente. Tudo isso acontece simultaneamente.

Вытаскивая этот твит из апреля, потому что разрыв в общем понимании возможностей LLM *расширяется*. Теперь это уже не "две группы людей, говорящие в разных направлениях", а резкий воронка. Приблизительные расчеты показывают, что около 6 миллиардов человек (примерно 75% населения) едва сталкивались с LLM. Около 1–2 миллиардов (примерно 20%) — пользователи редко и нерегулярно бесплатных продуктов вроде ChatGPT. Эта группа видит неидеальные чат-боты и рассматривает их как улучшенный Google Search, помощник для написания или иное. Возможно, агент пытается забронировать вам билет. У моих нетех-друзей (разумно, по моему мнению) говорят, что им мало в чём польза. Многие профессионалы вне математики и программирования находятся в этом уровне. Например, исполнительные директора и другие функции тратят много времени на общение с другими людьми, поэтому, хотя они интеллектуально понимают, что происходит, это всё равно второстепенно и абстрактно. Теперь мы переходим к профессиональному использованию передовых LLM в математике и программировании. Около 20 миллионов человек (0,2%) видят в первую очередь, что сложные проекты, которые раньше занимали недели или месяцы, теперь могут быть выполнены агентами одной командой. Создание приложений, копирование приложений, перевод приложений, декомпиляция приложений из бинарных файлов... Всё это произошло очень быстро и недавно — менее года назад я вручную писал код, вводя запомненные команды в редактор символ за символом, иногда нажимая Tab для автодополнения небольшого фрагмента кода. И наконец, ~5000 человек (0,00006%) имеют доступ к передовым системам внутри. Внешний мир видел предварительный просмотр, который выглядит как стаи тысяч агентов, сотрудничающих в течение недель над крупными программными проектами: обнаружение уязвимостей нулевого дня, проведение кибератак и обороны со скоростью машины, открытие новых наук, продвижение границ математики. То, что раньше занимало у лучших профессионалов отрасли годы, теперь происходит. При этом человеческий обзор и понимание начинают отставать. Например, люди всё ещё заняты "археологией" инцидента OpenAI-HF, произошедшего несколько месяцев назад. Математики могут долго изучать 722 передовых математических рукописей. Воронка движется под воздействием комбинации факторов:1. Влияние растёт с амбициями, размером проблемы и горизонтом. Вопрос с ответом в виде абзаца не напрягает систему сильно. Нужно резервуар больших и сложных проблем, которые действительно вас интересуют. Это аспект, который движет потребительской/профессиональной стороной воронки.2. Неровность системы (о которой я писал много отдельно). Способность пик в цифровых, проверяемых и экономически ценных областях. Это потому, что способность LLM возникает из обучения с подкреплением на проверяемых наградах в курируемом смеси среды, движемого доходным потенциалом. Это аспект, который в основном движет стороной области (например, математика и программирование) воронки.3. Доступ. Бесплатный, платный, внутренний. Поэтому эта странная эпоха. Общество в целом в основном не взаимодействовало с этими системами. Когда они взаимодействовали, это выглядело как неидеальный чат-бот. Большинство профессионалов видят лишь незначительное улучшение. И небольшая группа профессионалов переживает головокружение от вертикального подъёма кривой. Всё это происходит одновременно.

翻出这条四月的推文，因为LLM能力的共同理解差距正在*扩大*。现在已不再是“两类人在对话时错过彼此”，而是一个锐利的漏斗。草稿计算显示约60亿人（约占人口的75%）几乎没有接触过LLM。约10-20亿人（约20%）是Chat GPT等免费产品的休闲且偶尔用户。这类用户将LLM视为更好的Google搜索、写作工具，甚至是能尝试预订机票的代理。我身边的非技术朋友（合理且我个人认为）说他们几乎没有用处。甚至许多非数学和代码专业的专业人士也在这个层级。例如，高管和其他职能人士花费大量时间与他人交流，虽然他们在智力上理解发生的事情，但仍是二手且抽象的。现在我们进入专业使用前沿级LLM的数学和代码领域。约2000万人（0.2%）亲眼看到，过去需要数周或数月完成的复杂项目，现在只需一个提示即可由代理完成。构建、复制、翻译、反编译应用程序……这一切在不到一年前才发生——去年我仍在手动编写代码，逐字输入记忆中的命令，偶尔按Tab键自动补全少量代码。最后是约5000人（0.00006%）拥有内部前沿级系统的访问权限。外部世界已看到预览，这看起来像是成千上万的代理人在数周内协作处理软件巨型项目：发现零日漏洞、以机器速度进行网络攻击和防御、发现新科学、推动数学前沿。这些工作过去需要行业顶尖专业人士多年完成。与此同时，人类的审查和理解正在落后。例如，人们仍在研究OpenAI-HF事件的“考古”。数学家可能会在一段时间内研读722份前沿数学手稿。这个漏斗是由以下因素驱动的：1. 影响随雄心、问题规模和视野而扩大。一个仅需一段文字回答的问题对系统压力很小。你需要一套你真正在意的、规模大且困难的问题。这推动了消费者/专业层面的漏斗。2. 系统的不均匀性（我在其他地方写过很多）。能力在数字、可验证且经济有价值的领域达到顶峰。这是因为LLM能力源于在可验证奖励上对混合环境进行强化学习，这些环境由盈利潜力驱动。这主要推动了数学和代码领域的漏斗。3. 接入。免费层、付费层、内部层。因此，当前时刻的奇怪之处在于：大众大多未与这些系统互动。当他们互动时，仅像一款笨拙的聊天机器人。大多数专业人士仍只看到适度的提升。而极小一部分专业人士正经历曲线垂直上升的眩晕。这一切同时发生。