HeadlinesBriefing favicon HeadlinesBriefing.com

OpenAI Acelera Pesquisa com Agentes de IA

Hacker News •
×

Para que a AGI beneficie toda a humanidade, acreditamos que ela deve ser governada de forma democrática. Isso só pode acontecer através de um debate público informado sobre as capacidades, riscos e salvaguardas de sistemas de IA altamente capazes. Pessoas em todo o mundo precisam compreender a provável trajetória futura da IA de fronteira, para que possam ter uma voz significativa em como ela se desenvolve.

Transparência sobre riscos específicos, incidentes e salvaguardas é necessária, mas não suficiente. Acreditamos também que o público precisa compreender como os sistemas mais capazes estão se desenvolvendo, e como estão impulsionando o progresso da pesquisa dentro de laboratórios de fronteira. Pretendemos construir com segurança um pesquisador de IA automatizado que possa trabalhar sob supervisão humana para avançar em aprendizado profundo e alinhamento, permitindo melhorias iterativas.

De acordo com nossas medições, já alcançamos o objetivo anunciado no outono passado, de ter um pesquisador automático por setembro deste ano. Por "pesquisador automático", entendemos um sistema que pode executar tarefas de pesquisa bem definidas sob direção humana, incluindo tarefas que levariam um pesquisador qualificado alguns dias. Estamos fazendo um progresso sólido em direção à criação de um pesquisador de IA automatizado para março de 2028.

Ao longo deste ano, o trabalho diário dos pesquisadores da OpenAI mudou substancialmente. Pesquisadores estão usando agentes de codificação durante todo o dia (muitas vezes em sessões concorrentes) e o uso total está aumentando rapidamente, superando o crescimento entre outras equipes da OpenAI. Pesquisadores estão contribuindo com código mais rápido e executando mais experimentos.

A forma como os pesquisadores usam agentes está mudando: agentes estão lidando com tarefas cada vez mais complexas e tendo sucesso mais frequentemente. A pesquisa em IA é um processo complexo com muitos potenciais gargalos, então o ritmo geral de progresso provavelmente não acompanhará essas métricas específicas. Mas no geral, esses achados são consistentes com a impressão interna geral de que muitos de nós temos de que ferramentas agente estão significativamente acelerando o progresso da pesquisa.

As pessoas ainda definem nossas prioridades de pesquisa, julgam quais ideias e resultados seguir e decidem se escalar, pausar ou implantar sistemas. Se feito de forma responsável, acreditamos que a pesquisa de IA automatizada produzirá modelos que melhoram diretamente o bem-estar humano e avançam a missão da OpenAI. Pode reduzir o custo da inteligência avançada para que pessoas de todo o mundo se beneficiem.

Estamos perseguindo este trabalho em parte porque a pesquisa automatizada poderia nos ajudar a resolver alinhamento e construir defesas contra IA cada vez mais capazes. Um pesquisador de IA automatizado também pode ser um pesquisador automatizado de segurança ou alinhamento. Sistemas mais capazes e alinhados poderiam ajudar a garantir infraestrutura crítica, defender contra agentes de IA perigosos e desenvolver novas medidas de proteção.

Estas são razões para desenvolver capacidades de pesquisa automatizada úteis, mas não significam que RSI rápido necessariamente um resultado que devemos perseguir. Se e como prosseguir deve depender de nossa capacidade de preservar o controle humano e de escolhas democráticas informadas sobre os benefícios e riscos. Ainda não sabemos como chegar inteiramente a RSI alinhado com segurança.

Estamos trabalhando para escalar medidas de alinhamento e segurança junto com as capacidades. Mas não podemos assumir que o progresso em alinhamento e segurança acompanhará o ritmo, e sistemas mais capazes podem ficar mais difíceis de monitorar. Um trabalho cuidadoso de alinhamento e segurança está no centro deste esforço, e começa medindo e mitigando os problemas de segurança que vemos hoje em sistemas agente de codificação.

Sempre que encontrarmos que prosseguir seria um risco inaceitável de segurança, responderemos adequadamente, incluindo desacelerando ou interrompendo nosso desenvolvimento ou implantação de sistemas que encontramos incapazes de sufragar suficientemente. Após o recente incidente da Hugging Face, colocamos este compromisso em ação, pausando o treinamento por reforço (RL) em nossos modelos mais recentes destinados ao deployment enquanto reforçamos e fazemos red-team nossos ambientes de pesquisa e expandimos a cobertura dos nossos sistemas de monitoramento.