Em meados de 2023, no projeto de pesquisa 'RLSlow', vimos os primeiros resultados que nos deram confiança de que poderíamos escalar o treinamento de modelos de raciocínio, desbloqueando a capacidade dos modelos pré-treinados de formar suas próprias cadeias de pensamento. Szymon e eu passamos aquela noite no escritório, pensando não nos números incríveis de referência, nos produtos ou nos resultados científicos que essa tecnologia trará, mas tentando processar o fato sobrio de que realmente veremos máquinas significativamente mais inteligentes do que nós em nossa vida, e já vemos a forma desses sistemas; nos perguntando como alertar as pessoas sobre a importância disso. Três anos depois, os modelos de linguagem de raciocínio são uma parte em rápido crescimento da economia e estão começando a empurrar os limites da ciência.

Eles são capazes de operar computadores e interfaces gráficas, colaborar com pessoas e entre si, e realizar projetos de pesquisa. Eles também estão transformando o cenário da segurança da computação, e nesse contexto apresentam claros novos perigos. Muita nova pesquisa aconteceu nesse período, e nossa compreensão desses sistemas é novamente um pouco diferente do que era em 2023.

Com base nos resultados internos, tenho uma forte expectativa de que essa velocidade de progresso possa ser sustentada na melhoria automática recursiva. Se o desenvolvimento da IA continuar pelo seu caminho atual, os sistemas que veremos nos próximos anos provavelmente representarão saltos adicionais de capacidade de igual ou maior magnitude, e cada vez mais impulsionarão seu próprio desenvolvimento. Este é um momento que exige extrema cautela.

Estou preocupado que ninguém esteja preparado para as consequências de um aumento contínuo e rápido da inteligência das máquinas. Open AI continuará a buscar soluções técnicas para o alinhamento e o monitoramento, construindo sistemas defensivos e retendo unilateralmente um aumento adicional de escala quando necessário; porém, acredito que intervenções mais amplas são necessárias.