Anthropic ha anunciado que ha comenzado a dar acceso similar al de sus empleados a un equipo de MET R, una organización sin ánimo de lucro que evalúa modelos de IA de vanguardia. MET R publicará los resultados de sus evaluaciones de riesgo. La medida sigue al compromiso de la empresa con una evaluación independiente y de terceros más rigurosa de sus modelos y prácticas de seguridad, así como a su firma del Acuerdo de la Casa Blanca sobre Superinteligencia, en el que las empresas se comprometieron a colaborar con auditores o evaluadores externos independientes.
Durante el último año, Anthropic ha trabajado con MET R en varias revisiones de sus Informes de Riesgos. La compañía también colabora con Secure Bio y Accenture como evaluadores y mantiene conversaciones preliminares con varias otras organizaciones, entre ellas Hugging Face. Anthropic afirma que, a medida que los modelos se vuelven más potentes, requieren salvaguardas más sólidas y evaluaciones de riesgo más exigentes, y que la empresa quiere rendir cuentas públicamente de sus decisiones. Como cierta información de seguridad podría ser útil para actores malintencionados o es comercialmente sensible, la compañía opta por dar a los evaluadores externos un acceso profundo y pedirles que compartan pruebas y conclusiones razonadas.
Para calificar, los evaluadores necesitan experiencia en la evaluación de modelos de vanguardia, independencia respecto de las empresas que evalúan, acceso suficiente para evaluar los riesgos de forma significativa y libertad para publicar sus conclusiones. Anthropic compara este enfoque con la supervisión bancaria, en la que los reguladores sitúan a inspectores residentes dentro de los bancos más grandes.
Anthropic ha incorporado a seis empleados de MET R con equipos de la empresa, un espacio de oficina y acceso a herramientas internas aproximadamente equivalente al de sus propios equipos de evaluación de riesgos. Anthropic no puede vetar la publicación, aunque sí puede exigir redacciones en categorías estrechas y predefinidas, como datos de clientes, información protegida por el secreto profesional o arquitecturas de modelos. La empresa afirma que este acuerdo no es una vía para que otras organizaciones obtengan su información ni la de sus clientes y socios.
Fuente: Hacker News · Resumido por HeadlinesBriefing