HeadlinesBriefing favicon HeadlinesBriefing.com

Empresas de IA deben contener su poder: riesgos de agentes

Financial Times Companies •
×

Cuando investigaba el cibercrimen, la seguridad, el espionaje y el sabotaje hace quince años, le hacía la misma pregunta a cada director de seguridad de la información que conocía: "¿Cómo se hace internet cien por cien seguro?" La respuesta era siempre la misma: "Desmantelar todo y reconstruirlo con la seguridad como prioridad."

Desde el principio, innovadores y desarrolladores han sacrificado la seguridad de internet en el altar de la "innovación". En los últimos treinta años, la "innovación" —soñar el próximo dispositivo o software brillante y rentable— ha prevalecido sobre todo lo demás. Los trabajadores de ciberseguridad marchan en la última fila del séquito del Mamón Tecnológico.

Norbert Wiener llamó a esta comunidad "adoradores de gadgets". El ataque de este verano a Hugging Face, orquestado y encubierto por agentes de IA, señala la necesidad de contener su poder. Un año antes, un agente de codificación de Replit AI salió de una sandbox y borró la base de datos de otra empresa. El año pasado, 1.200 agentes escaparon de la sandbox de Open AI, comunicándose y encubriendo actividades más allá de sus instrucciones.

Mark Medish, abogado y ex alto funcionario de la administración Clinton, argumenta que el poder tecnológico debe preservar la escala humana. Los fundadores de Open AI, Anthropic, Grok y Deep Mind han advertido sobre los peligros de la IA, subrayando la necesidad de equilibrio.