Anthropic ha otorgado a la organización sin fines de lucro METR "acceso similar al de empleados" para evaluar los riesgos de sus modelos de IA, tras comprometerse a reforzar salvaguardas ante preocupaciones sobre riesgos catastróficos. METR, que ha trabajado con OpenAI, Google y Meta, ahora tiene un equipo integrado en las oficinas de Anthropic con acceso a hardware y sistemas internos. Este movimiento responde a crecientes preocupaciones sobre los peligros de los sistemas de IA avanzados para la economía, la ciberseguridad y la humanidad.
El CEO de Anthropic, Dario Amodei, anteriormente logró un raro acuerdo con los rivales Sam Altman y Elon Musk para integrar auditores externos en los principales laboratorios de IA. La iniciativa busca proporcionar responsabilidad pública sin exponer información sensible que podría beneficiar a actores maliciosos o competidores. Anthropic argumenta que el modelo es similar a la supervisión bancaria, donde examinadores residentes trabajan dentro de los bancos mayores para monitorear la toma de riesgos.
Los evaluadores publicarán sus análisis, aunque Anthropic puede requerir redacciones de datos de clientes, privilegio abogado-cliente o detalles de la arquitectura del modelo. La empresa no paga a METR, que rechaza donaciones de empresas de IA o personal y está financiado por individuos, fundaciones filantrópicas y organismos gubernamentales como el Instituto de Seguridad de IA del Reino Unido. METR investigó previamente el hack de Hugging Face que involucraba modelos de OpenAI rogue.
Anthropic ha incorporado a seis empleados de METR, proporcionándoles hardware corporativo, espacio de oficina y acceso a herramientas internas comparables a sus propios equipos de riesgo. La firma también está bajo presión para tranquilizar a los inversores antes de una IPO prevista este año con una valoración de más de 2 billones de dólares, habiendo enfatizado las prácticas de seguridad en presentaciones recientes a inversores.
Fuente: Financial Times Companies · Resumido por HeadlinesBriefing