Jacob Coxon a annoncé qu'il démissionnait d'Anthropic après trois ans de recherche en pré-entraînement tant chez OpenAI que chez Anthropic. Il a déclaré qu'aucune des deux entreprises n'agissait de manière responsable, se lançant dans une course vers une superintelligence auto-améliorante et "jouant avec nos vies". Coxon a averti que ces systèmes seront bientôt surhumains, capables de pirater n'importe quoi et de révolutionner n'importe quel domaine du jour au lendemain. Il a noté que les constructeurs d'OpenAI n'ont pas profondément intériorisé les enjeux civilisationnels, tandis qu'Anthropic comprend les risques mais est enfermé dans une course pour y arriver le premier.

Coxon a qualifié l'acceptation de cette course de "pari hubristique" qui ne devrait pas être lancé depuis le Slack d'une entreprise privée. Il a exprimé son optimisme quant à la coordination, citant l'attaque de Hugging Face comme rendant les accords de rythme entre laboratoires américains plus viables. Il a exhorté les chercheurs à se demander s'ils veulent lancer un entraînement RL superintelligent sans compréhension rigoureuse, ou agir plutôt qu'accepter "ça arrive de toute façon".

Le post a obtenu 20,3 millions de vues et a suscité une discussion sur les mèmes AI Notkilleveryoneism et sur la question de savoir si les constructeurs qui craignent le risque existentiel devraient continuer à développer la technologie.

Entités clés : Entreprises : Anthropic, OpenAI, Hugging Face | Personnes : Jacob Coxon, Tim Cook