Anthropic concedeu à organização sem fins lucrativos METR "acesso similar a funcionários" para avaliar os riscos de seus modelos de IA, após compromisso de reforçar salvaguardas diante de preocupações com riscos catastróficos. METR, que trabalhou com OpenAI, Google e Meta, agora tem uma equipe integrada nas escritórios da Anthropic com acesso a hardware e sistemas internos. Esta movimento responde a crescentes preocupações sobre os perigos de sistemas de IA avançados para a economia, cibersegurança e humanidade.
O CEO da Anthropic, Dario Amodei, anteriormente alcançou um raro acordo com rivais Sam Altman e Elon Musk para integrar auditores externos nos principais laboratórios de IA. A iniciativa visa proporcionar responsabilidade pública sem expor informações sensíveis que poderiam beneficiar atores maliciosos ou concorrentes. Anthropic argumenta que o modelo é semelhante à supervisão bancária, onde examinadores residentes trabalham dentro de grandes bancos para monitorar o risco-taking.
Os avaliadores publicarão seus análises, embora Anthropic possa exigir redações de dados de clientes, privilégio advogado-cliente ou detalhes da arquitetura do modelo. A empresa não paga METR, que recusa doações de empresas de IA ou funcionários e é financiado por indivíduos, fundações filantrópicas e organismos governamentais como o Instituto de Segurança da IA do Reino Unido. METR investigou previamente o hack da Hugging Face envolvendo modelos de OpenAI rogue.
Anthropic onboardou seis funcionários do METR, fornecendo-lhes hardware corporativo, espaço de escritório e acesso a ferramentas internas comparáveis aos seus próprios times de risco. A firma também está sob pressão para tranquilizar investidores antes de uma IPO esperada este ano com uma avaliação de mais de 2 bilhões de dólares, tendo enfatizado práticas de segurança em apresentações recentes a investidores.
Fonte: Financial Times Companies · Resumido por HeadlinesBriefing