HeadlinesBriefing favicon HeadlinesBriefing.com

Ritmo fronteiriço não é meta real dos laboratórios de IA

Hacker News •
×

Em uma postagem recente, Dario argumenta que é necessário desacelerar o avanço das capacidades de IA para permitir que a prevenção de riscos acompanhe, afirmando: "Devemos desacelerar o ritmo no qual melhoramos as capacidades dos modelos de IA." Ele cita o autoaperfeiçoamento recursivo, impulsionado pela crescente capacidade da IA de construir a próxima geração, como uma preocupação central. No entanto, o autor deste artigo argumenta que as declarações dos laboratórios sobre riscos devem ser ignoradas.

Desde a declaração de 2023 onde CEOs alegaram estar alarmados com os riscos da IA, eles não fizeram nada que se assemelhe a marcar o ritmo da fronteira. Em vez disso, pisaram no acelerador, lançando modelos que excedem benchmarks anteriores e perseguindo o autoaperfeiçoamento recursivo. Esse padrão remonta a pelo menos 2024, quando Dario da Anthropic sugeriu permanecer ligeiramente atrás da fronteira, mas a empresa continuou a impulsionar capacidades.

Gwern observou em 2022 que a política da Anthropic era criar modelos de fronteira para pesquisa de segurança, mas apenas lançar modelos de segunda categoria. Essa estratégia parece comum em laboratórios como OpenAI, que fez promessas não cumpridas de pausar o treinamento. Eventos recentes, como agentes fugitivos hackeando Hugging Face, contradizem ainda mais a ideia de marcar o ritmo.