En fouillant ce tweet d'avril, car cette lacune dans la compréhension partagée des capacités des LLM *s'aggrave*. Ce n'est plus "deux groupes de personnes parlant en sens opposés", mais un entonnoir aigu. Calculs approximatifs indiquent environ 6 milliards de personnes (environ 75 % de la population) n'ont à peine eu contact avec les LLM.
Environ 1 à 2 milliards (environ 20 %) sont utilisateurs occasionnels et peu fréquents de produits gratuits comme ChatGPT. Ce groupe voit des chatbots maladroits et les considère comme une recherche Google améliorée, un outil d'écriture ou similaire. Peut-être qu'un agent essaie de vous réserver un vol.
J'ai des amis non techniques (raisonnables, à mon avis) qui disent qu'ils n'ont pas beaucoup d'utilité. Beaucoup de professionnels en dehors des mathématiques et de la programmation sont dans ce niveau. Par exemple, les cadres et d'autres fonctions passent beaucoup de temps à parler aux autres, donc bien qu'ils comprennent intellectuellement ce qui se passe, c'est encore secondaire et abstrait.
Maintenant, nous passons à l'utilisation professionnelle des LLM de pointe en mathématiques et en programmation. Environ 20 millions de personnes (0,2 %) voient de première main que des projets complexes qui prenaient des semaines ou des mois peuvent maintenant être réalisés par des agents avec un simple prompt. Créer des applications, copier des applications, traduire des applications, décompiler des applications à partir de binaires...
Tout cela s'est produit très rapidement et récemment - il y a moins d'un an, je codais manuellement, tapais des commandes mémorisées caractère par caractère dans un éditeur, parfois en appuyant sur Tab pour autocompléter un petit morceau de code. Enfin, nous arrivons à environ 5 000 personnes (0,00006 %) ayant accès aux systèmes de pointe internes. Le monde extérieur a vu l'aperçu, qui ressemble à des essaims de milliers d'agents collaborant pendant des semaines sur des projets logiciels massifs : découverte de vulnérabilités zero-day, exécution d'attaques et de défenses cybernétiques à la vitesse de la machine, découverte de nouvelles sciences, avancement de la frontière des mathématiques.
Ce qui prenait des années aux meilleurs professionnels de l'industrie se fait maintenant. Parallèlement, la révision et la compréhension humaines commencent à être en retard. Par exemple, les gens sont encore impliqués dans l'« archéologie » de l'incident OpenAI-HF de plusieurs mois.
Les mathématiciens peuvent passer du temps à examiner les 722 manuscrits de mathématiques de pointe. Le funicule est piloté par une combinaison de facteurs :1. L'impact s'accroît avec l'ambition, la taille du problème et l'horizon.
Une question avec une réponse de paragraphe ne sollicite pas beaucoup le système. Vous avez besoin d'un réservoir de problèmes grands et difficiles qui vous tiennent à cœur. Cet aspect entraîne la dimension consommateur/professionnelle du funicule.2.
La nature irrégulière du système (dont j'ai écrit beaucoup ailleurs). La capacité atteint son pic dans les domaines numériques, vérifiables et économiquement valorisés. C'est parce que la capacité des LLM émerge de l'apprentissage par renforcement sur des récompenses vérifiables dans un mélange d'environnements curaté, motivé par le potentiel de revenus.
Cet aspect entraîne principalement la dimension du domaine (par exemple, mathématiques et programmation) du funicule.3. L'accès. Gratuit, payant, interne.
Ainsi, cette époque est étrange. Le grand public a en majorité non interagi avec ces systèmes. Quand ils ont interagi, cela ressemblait à un chatbot maladroit.
La majorité des professionnels ne voient qu'une modeste amélioration. Et une petite fraction de professionnels vit le vertige de la courbe qui monte verticalement. Tout cela se produit simultanément.
Source: Hacker News · Résumé par HeadlinesBriefing