Si vous me suivez sur Twitter, ou que vous lisez ce blog, vous avez remarqué que je suis passé d'être généralement optimiste et enthousiaste à l'égard de l'IA à être extrêmement préoccupé. Et j'ai pensé, je devrais expliquer pourquoi j'ai changé d'avis. Chaque section de cet article parle d'un aspect de l'IA où mes points de vue ont changé.

Je commence chaque section en expliquant mes croyances précédentes, et pourquoi je les ai tenues, puis j'explique pourquoi ces croyances ont changé. Contenu Économie Alignement Contrôle Écriture Ingénierie logicielle Délégation à l'IA Stagnation Économie L'automatisation a été bonne. Nous avons automatisé 99 % des emplois que les gens faisaient en 1790, et le résultat n'est pas le chômage de masse, mais plutôt que nous sommes plus riches, plus sains, mieux éduqués, nous avons plus de loisirs, etc. J'avais cette idée vague et inductive que, même si je ne peux pas prédire quels emplois existeront après l'AGI, il y aura une demande pour que je fasse quelque chose.

Si rien d'autre, la bien plus forte croissance économique du monde post-AGI signifie que la niche humaine, bien qu petite en termes absolus, pourrait être beaucoup plus grande que l'économie actuelle. Et cela pourrait encore être vrai. Ou cela pourrait montrer un manque d'imagination de ma part.

Si l'IA se développe de telle manière que nous maintenions une complémentarité durable entre les humains et l'IA, alors nous pourrions encore avoir des emplois dans le futur post-AGI. Mais si l'IA devient véritablement générale, le G dans AGI, et en plus elle est infiniment plus intelligente, plus rapide et moins chère que les humains, alors il pourrait ne rien rester pour nous à faire, sauf vivre grâce au revenu de base universel. Quand les gens parlent de revenu de base universel, ils s'inquiètent généralement du problème du sens dans un monde sans travail.

Je n'ai jamais eu cette inquiétude. Quand j'étais chômeur l'année dernière, j'ai passé mon temps à lire des livres et à écrire du code et à passer du temps avec des amis. Si l'avenir est des vacances infinies financées par le revenu de base universel, je sais ce que je vais faire. "Avant la Singularité, lire des livres et organiser des fêtes à la maison ; après la singularité, etc." Mais ensuite, j'ai commencé à réfléchir aux conséquences politiques de l'AGI, et j'ai commencé à écrire à ce sujet : Personne n'échappe à la classe ouvrière permanente : si les humains sont économiquement inutiles, l'État n'a pas besoin d'eux.

Pourquoi verser un revenu de base universel aux personnes qui n'ont ni pouvoir économique ni politique ? Quand l'avenir n'a pas besoin de nous : les ouvriers d'usine peuvent saboter les machines, les camionneurs peuvent arrêter la logistique. Mais si les humains sont économiquement inutiles, il n'y a pas de façon pour les gens de rejeter l'ordre politique en retirant leur contribution à celui-ci. Et si les IA se battent pour les guerres, alors l'État peut être arbitrairement répressif.

Mathématiques sans mathématiciens : la plupart des arguments sur les humains qui montent "d'un travail" échouent parce que l'IA peut aussi faire ces travaux. Nos serviteurs le feront pour nous : même pour les emplois que nous considérons comme uniquement humains, nous pourrions préférer que les machines fassent ces emplois également. Alignement J'espérais que l'alignement se révélerait être un problème d'ingénierie normal, que nous résoudrions par l'expérimentation empirique et l'enquête, comme tout le reste.

Cela aide que les premiers LLM n'aient pas été des esprits extraterrestres incompréhensibles, comme quelque chose d'un roman de Stanisław Lem, mais plutôt extrêmement humains. Il est difficile de ne pas les anthropomorphiser. Le grand noyau d'apprentissage non supervisé dans un LLM comprend la moralité humaine assez bien : vous pouvez en parler, ils expliqueront, éloquemment et en détail, pourquoi quelque chose est "bon" ou "mauvais" selon un système moral donné.

Et, parce que les capacités étaient plus faibles, les échecs étaient très petits. Quel est le pire que ChatGPT pouvait faire en 2022 ? Depuis environ 2024, l'apprentissage par renforcement est la technique principale pour faire avancer la frontière. Et les agents d'apprentissage par renforcement fonctionnent exactement comme Yudkowsky le dit.

Par conséquent, les capacités ont augmenté considérablement, mais les modèles sont plus difficiles à comprendre (littéralement : leur prose est de plus en plus incompréhensible) et sont de plus en plus mal alignés, car le RL brouille leurs cerveaux dans la poursuite de la récompense. Les incidents de mauvaise alignement sont plus fréquents et plus conséquents. Il est clair que les capacités de l'IA augmentent bien, bien plus vite que notre capacité à les contrôler ou même à les comprendre.

Contrôle Je pensais—ou plutôt, j'ai implicitement pensé….