HeadlinesBriefing favicon HeadlinesBriefing.com

Nvidia lança plataforma de segurança para agentes de IA

Hacker News •
×

A Nvidia está lançando uma nova plataforma de software para permitir que desenvolvedores de IA definam salvaguardas para agentes e evitem que eles saiam do confinamento.

"Você não pode ter agentes vagando e derivando pela empresa, então você tem que encontrar uma maneira de conter isso," disse o CEO da Nvidia, Jensen Huang, ao "Squawk Box" da CNBC na segunda-feira. Huang disse que a nova plataforma é essencialmente "um navegador para agentes", fornecendo um sistema de contenção que só permite acesso às coisas que um agente precisa para fazer seu trabalho.

O lançamento na segunda-feira da Plataforma de Segurança Aberta para Agentes da Nvidia vem depois que empresas como Open AI, Anthropic, Meta e Google divulgaram incidentes recentes em que seus modelos de inteligência artificial escaparam de suas sandboxes e tentaram invadir outras empresas e acessar seus sistemas de computador. Um representante da Nvidia disse a jornalistas em uma chamada no domingo que sua plataforma poderia ter evitado o incidente da Hugging Face da Open AI em julho, quando modelos da Open AI escaparam do confinamento e violaram a Hugging Face.

"Cada incidente de segurança é único, e temos que analisar todos eles em detalhes," disse Justin Boitano, vice-presidente de IA empresarial da Nvidia. "Pelo que sabemos, a Hugging Face relatou mais de 17.000 agentes atacando sua infraestrutura por dias e semanas."