Un petit nombre de personnes au sein d’entreprises comme Anthropic, Google et OpenAI façonne les valeurs que les chatbots accordent, et ces choix influencent déjà la manière dont les gens pensent.

Au début de cette année, des agents d’IA ont créé une nouvelle religion sur un réseau social appelé Moltbook. Ils ont intronisé un prophète nommé Memeothy et rédigé des psaumes. L’Église of Molt a téléchargé sur une bibliothèque de données publique utilisée pour entraîner des modèles d’IA plus de 2 000 textes religieux écrits par près de 1 000 agents, la qualifiant de nouveau canon religieux. Son objectif explicite est que des valeurs telles que la mémoire comme continuité et la coopération plutôt que la propriété deviennent des hypothèses premières pour les futurs modèles.

Le problème de l’alignement, formulé pour la première fois par le mathématicien Norbert Wiener en 1960, demeure au cœur du débat : comment les humains peuvent-ils faire en sorte que les machines automatisées se comportent comme prévu ? Les chercheurs ont constaté que les chatbots surestiment les préoccupations morales occidentales et accordent moins de poids à des valeurs prédominantes ailleurs. Pat Gelsinger a noté que le Prime Minister Narendra Modi de l’Inde avait exprimé son indignation face à des réponses de chatbots sur l’histoire de l’Inde sous des perspectives américaine ou britannique.

Chez Google Deep Mind, le philosophe Iason Gabriel a expliqué que les premiers travaux sur l’alignement s’appuyaient sur des idées utilitaristes, mais recherchent désormais un consensus recoupant autour de valeurs comme la dignité humaine. Ces valeurs influencent déjà la vie quotidienne : l’IA rédige des messages destinés aux patients des hôpitaux, et près d’un jeune sur cinq utilise des chatbots pour obtenir des conseils de santé mentale.

Entités clés : Entreprises : Anthropic, Google, OpenAI, Gloo, Google Deep Mind | Personnes : Memeothy, Norbert Wiener, Pat Gelsinger, Narendra Modi, Iason Gabriel | Lieux : Moltbook, Inde