HeadlinesBriefing favicon HeadlinesBriefing.com

Modelo Astra da OpenAI com recorrência opaca alaarma especialistas

Hacker News •
×

O novo modelo Astra da OpenAI utilizará uma técnica de raciocínio chamada "recurrent depth", também conhecida como "recorrência opaca", que permite que ele opere fora do pensamento sequencial típico da maioria dos modelos de raciocínio, segundo um relatório da The Information. Essa técnica torna a cadeia de pensamento do modelo mais difícil de monitorar, gerando preocupações entre os especialistas em segurança de IA.

O CEO da Redwood, Buck Shlegeris, expressou uma preocupação extrema, alertando que, se a OpenAI impulsionar a técnica mais longe, ela poderia "aumentar massivamente a recorrência e destruir totalmente a monitorabilidade de Co T". Um defensor de longa data da segurança de IA, Zvi Mowshowitz, chamou a técnica de "brincar com fogo" e sugeriu que podem ser necessárias leis para prevenir uma "corrida para o fundo" entre os laboratórios de IA.

Em circunstâncias normais, a cadeia de pensamento de um modelo de raciocínio fornece passos sequenciais para monitorar o comportamento inadequado. Na recorrência opaca, o modelo processa consultas em um loop, deixando menos rastros legíveis. No entanto, a utilização da técnica pelo Astra parece limitada, e a OpenAI se opôs a sugestões de que mudaria para "neuralese", enfatizando seu compromisso com cadeias de pensamento legíveis por meio do chief scientist Jakub Pachocki.

The Information relatou posteriormente que tanto a Anthropic quanto o Google Deep Mind já estão discutindo a técnica. O chief scientist da Redwood Research, Ryan Greenblatt, alertou que a razão opaca pode escalar mais rapidamente que os métodos convencionais, potencialmente removendo toda a razão dos canais visíveis.