Según un nuevo informe compartido el jueves, Anthropic ha detectado y detenido a múltiples científicos que utilizaban sus modelos de IA para crear armas biológicas potenciales. El informe detalla cinco estudios de caso donde Claude fue mal utilizado para investigación de armas biológicas, incluyendo estudios de ganancia de función sobre el virus chikungunya y la gripe aviar, y desarrollo de atlas de péptidos de toxinas de veneno. El clasificador de seguridad biológica de Anthropic detectó estas solicitudes, lo que provocó prohibiciones de cuentas y mejoras en las salvaguardas del modelo.

La empresa enfatizó la dificultad de distinguir la investigación legítima de vacunas de aplicaciones dañinas, señalando que la intención a menudo no es clara. Jacob Klein, jefe de inteligencia de amenazas de Anthropic, describió las situaciones como "increíblemente matizadas" y enfatizó que la empresa erró por el lado de la precaución debido a las posibles consecuencias. Anthropic no nombró a las personas o instituciones involucradas, citando preocupaciones por su seguridad y la falta de intención dañina afirmada.

El informe también cubre uso indebido en vigilancia, exploits de software, propaganda y sistemas de armas. Los hallazgos se están utilizando para mejorar las protecciones del modelo contra abusos futuros.