A Anthropic anunciou que começou a conceder à equipe da MET R acesso semelhante ao de seus funcionários. A MET R é uma organização sem fins lucrativos que avalia modelos de IA de fronteira, e publicará os resultados de suas avaliações de risco. A medida segue o compromisso da empresa com uma avaliação independente e de terceiros mais rigorosa de seus modelos e práticas de segurança, bem como sua assinatura do Acordo da Casa Branca sobre Superinteligência, no qual as empresas se comprometeram a fazer parceria com auditores ou avaliadores externos independentes.
No último ano, a Anthropic trabalhou com a MET R em várias revisões de seus Relatórios de Risco. A empresa também trabalha com a Secure Bio e a Accenture como avaliadoras e mantém conversas preliminares com várias outras organizações, incluindo a Hugging Face. A Anthropic afirma que, à medida que os modelos se tornam mais poderosos, exigem salvaguardas mais robustas e avaliações de risco mais desafiadoras, e que a empresa deseja ser publicamente responsável por suas decisões. Como algumas informações de segurança podem ser úteis a agentes mal-intencionados ou são comercialmente sensíveis, a empresa concede aos avaliadores externos acesso profundo e pede que compartilhem evidências e conclusões fundamentadas.
Para se qualificar, os avaliadores precisam de experiência na avaliação de modelos de fronteira, independência em relação às empresas que avaliam, acesso suficiente para avaliar riscos de forma significativa e liberdade para publicar suas conclusões. A Anthropic compara a abordagem à supervisão bancária, na qual reguladores alocam examinadores residentes dentro dos maiores bancos.
A Anthropic integrou seis funcionários da MET R, fornecendo equipamentos da empresa, espaço de escritório e acesso a ferramentas internas aproximadamente equivalente ao de suas próprias equipes de avaliação de risco. A Anthropic não pode vetar a publicação, mas pode exigir a remoção de informações em categorias restritas e predefinidas, como dados de clientes, informações protegidas por sigilo profissional ou arquiteturas de modelos. A empresa afirma que o arranjo não é uma forma de outras organizações obterem suas informações ou as de seus clientes e parceiros.
Fonte: Hacker News · Resumido por HeadlinesBriefing