Anthropic a accordé à l'organisation à but non lucratif METR "un accès similaire à des employés" pour évaluer les risques de ses modèles IA, suite à un engagement à renforcer les garde-fous amid des préoccupations concernant les risques catastrophiques. METR, qui a travaillé avec OpenAI, Google et Meta, dispose désormais d'une équipe intégrée dans les bureaux d'Anthropic avec accès au hardware et aux systèmes internes. Cette décision répond à des inquiétudes croissantes sur les dangers des systèmes IA avancés pour l'économie, la cybersécurité et l'humanité.
Le PDG d'Anthropic, Dario Amodei, a précédemment obtenu un accord rare avec les rivaux Sam Altman et Elon Musk pour intégrer des auditeurs externes dans les principaux laboratoires d'IA. L'initiative vise à fournir une responsabilité publique sans exposer d'informations sensibles qui pourraient bénéficier à des acteurs malveillants ou concurrents. Anthropic soutient que le modèle ressemble à la supervision bancaire, où des examinateurs résidents travaillent au sein des grandes banques pour surveiller la prise de risques.
Les évaluateurs publieront leurs analyses, bien que Anthropic puisse exiger des suppressions pour les données clients, le privilège avocat-client ou les détails de l'architecture du modèle. L'entreprise ne paie pas METR, qui refuse les dons d'entreprises IA ou d'employés et est financée par des particuliers, des fondations philanthropiques et des organismes gouvernementaux comme l'Institut de sécurité IA du Royaume-Uni. METR a précédemment enquêté sur l'affaire Hacking de Hugging Face impliquant des modèles OpenAI rogue.
Anthropic a intégré six employés de METR, leur fournissant du matériel d'entreprise, de l'espace de bureau et un accès aux outils internes comparables à ses propres équipes de risque. L'entreprise est également sous pression pour rassurer les investisseurs avant une IPO prévue cette année à une valorisation de plus de 2 billions de dollars, ayant mis l'accent sur les pratiques de sécurité dans les récentes présentations aux investisseurs.
Source: Financial Times Companies · Résumé par HeadlinesBriefing