Si les inquiétudes concernant la sécurité de l'IA et la fin du monde sont entrées dans votre vie récemment, c'est probablement à cause d'une lettre de démission. Le 8 septembre 2026, un chercheur nommé Jacob Coxon a quitté Anthropic, l'un des deux principaux laboratoires d'IA aux États-Unis dont la marque a tenté de cultiver l'image d'être le prudent par rapport à ses concurrents. Il avait passé les trois années précédentes à faire de la recherche sur le pré-entraînement chez Open AI puis chez Anthropic, le travail de salle des machines qui rend les grands modèles capables, et sa note d'adieu disait, entre autres : « Les personnes qui construisent l'IA croient sincèrement qu'elle pourrait nous tuer tous d'ici la fin de la décennie. Ce n'est pas un coup marketing. » Il est parti deux mois avant que ses actions ne soient acquises et y a renoncé. Le post a été vu plus de cent millions de fois en une journée. Ses collègues, étonnamment, ne se sont pas empressés de le corriger. Evan Hubinger, qui dirige la science de l'alignement chez Anthropic, a publié en quelques heures que Coxon avait raison, qu'ils croient vraiment sincèrement que l'IA pourrait tuer tous les humains, et que ses probabilités personnelles étaient quelque part au-dessus d'une sur dix dans une décennie. Plus de deux douzaines de membres du Congrès ont déclaré que quelque chose devait être fait. Elon Musk, qui construit son propre laboratoire de pointe, a qualifié tout cela de psy-op, et les médias grand public ont, comme on pouvait s'y attendre, couvert à perdre haleine la frénésie qui a suivi.

Pour évaluer de manière réaliste la gravité de cet avertissement, nous devons comprendre les personnes qui le lancent. Les voix les plus fortes avertissant de la fin du monde proviennent d'une sous-culture internet très spécifique vieille de vingt-cinq ans, qui se conçoit comme une communauté de personnes qui pensent plus clairement que tout le monde. En dehors de la Silicon Valley, la sous-culture semble obscure, un fandom aux préférences littéraires inhabituellement ringardes. À l'intérieur de l'industrie technologique, elle ne l'est pas du tout. Ses écrivains font ou défont les réputations. Ses anciens élèves peuplent les laboratoires, les instituts de sécurité et les organisations philanthropiques qui décident ce que signifie « sécurité de l'IA ». Ses arguments, mariages, querelles et penchants sexuels sont fortement imbriqués dans la structure des organisations qui demandent maintenant la confiance du public sur l'avenir de l'espèce.

Dix mois avant la démission de Coxon, en décembre 2025, près de cinq cents personnes se sont réunies dans une salle de concert de Berkeley pour une cérémonie sur la possible fin de l'humanité. Il y avait un groupe live et une chorale de vingt-huit personnes. Il y avait des lectures liturgiques. Alors que les chansons et les discours portaient la salle du passé lointain de l'humanité vers son avenir incertain, les lustres se sont éteints un par un. Des employés d'organisations tentant de construire ou de contenir l'intelligence artificielle étaient fortement présents. Au moment le plus sombre, l'organisateur s'est assis au bord de la scène, la voix brisée, et a dit à la salle : « Les gars… je ne pense pas qu'on va y arriver. » L'organisateur était Raymond Arnold, développeur web, concepteur de jeux, musicien et bâtisseur de longue date d'institutions communautaires rationalistes. Élevé entre catholicisme et athéisme, Arnold a découvert le mouvement rationaliste jeune adulte et a trouvé qu'il « élargissait radicalement » sa capacité de sentiment sacré. En 2011, il a invité dix-neuf amis dans un appartement de New York meublé pour la soirée de lampes à huile, de boules de plasma et de sabres laser pour tester en version bêta une fête pour leur nouvelle vision du monde. Ils ont chanté les premiers feux de camp d'hiver et les technologies qui façonnent l'avenir de l'humanité, ont éteint la dernière bougie et se sont assis ensemble dans le noir. Deux ans plus tard, Arnold a transformé l'expérience en une production publique appelée Brighter Than Today. Les versions se sont rapidement répandues de New York et de la Bay Area à des villes d'Amérique du Nord, d'Europe et au-delà. Arnold avait initialement imaginé le Solstice séculier comme une large fête humaniste, mais elle est devenue le principal jour de fête du calendrier rationaliste. Ce n'était pas entièrement accidentel. Il organise la communauté depuis 2011, aide maintenant à diriger à la fois Less Wrong et Lighthaven—le campus de conférence de Berkeley qui sert de physi...