Limpando este tweet de abril porque esta lacuna na compreensão compartilhada das capacidades dos LLM *está se ampliando*. Agora não é mais "dois grupos de pessoas falando em direções opostas", mas um funil afiado. Cálculos aproximados indicam que cerca de 6 bilhões de pessoas (aproximadamente 75% da população) mal entraram em contato com LLM.
Cerca de 1 a 2 bilhões (aproximadamente 20%) são usuários casuais e infrequentes de produtos gratuitos como ChatGPT. Este grupo vê chatbots desajeitados e os trata como uma busca Google melhor, uma ajuda para escrever ou etc. Talvez um agente tente reservar um voo para você. Tenho amigos não técnicos (razoáveis, na minha opinião) que dizem que não têm muito uso para isso.
Muitos profissionais fora de matemática e programação estão nesse nível. Por exemplo, executivos e outras funções passam muito tempo falando com outras pessoas, então, embora entendam intelectualmente o que está acontecendo, ainda é secundário e um pouco abstrato. Agora chegamos ao uso profissional de LLM de última geração em matemática e programação.
Cerca de 20 milhões de pessoas (0,2%) veem de primeira mão que projetos complexos que antes levavam semanas ou meses agora podem ser concluídos por agentes com um único prompt. Construir aplicativos, copiar aplicativos, traduzir aplicativos, decompilar aplicativos de binários... Tudo isso aconteceu muito rapidamente e recentemente - há menos de um ano eu escrevia código manualmente, digitando memorizados comandos de código caractere por caractere no editor, às vezes pressionando Tab para autocompletar um pequeno pedaço de código.
Finalmente chegamos a cerca de 5.000 pessoas (0,00006%) com acesso a sistemas de última geração internos. O mundo exterior viu a prévia, que parece enxame de milhares de agentes colaborando durante semanas em projetos de software massivos: descoberta de zero-days, execução de ataques e defesas cibernéticas à velocidade de máquina, descoberta de novas ciências, avanço da fronteira da matemática. O que levaria anos para os melhores profissionais da indústria, agora acontece.
Ao mesmo tempo, a revisão e compreensão humanas começam a ficar para trás. Por exemplo, as pessoas ainda estão envolvidas na "arqueologia" do incidente OpenAI-HF de há muitos meses. Os matemáticos podem passar algum tempo examinando os 722 manuscritos de matemática de ponta.
O funil é impulsionado por uma combinação de fatores:1. O impacto escala com a ambição, o tamanho do problema e o horizonte. Uma pergunta com resposta de parágrafo mal estressa o sistema.
Você precisa de um depósito de problemas grandes e difíceis que realmente se importam. Este aspecto impulsiona a dimensão de consumidor/profissional do funil.2. A irregularidade do sistema (sobre a qual escrevi muito separadamente).
A capacidade atinge seu pico em domínios digitais, verificáveis e economicamente valiosos. Isso ocorre porque a capacidade dos LLM emerge do aprendizado por reforço em recompensas verificáveis em um misto de ambientes curatado impulsionado pelo potencial de receita. Este aspecto principalmente impulsiona a dimensão do domínio (por exemplo, matemática e programação) do funil.3.
Acesso. Gratuito, pago, interno. Portanto, esta é a estranheza do momento.
O público em geral não interagiu com esses sistemas. Quando interagiram, pareceu um chatbot desajeitado. A maioria dos profissionais ainda vê apenas um modesto aumento.
E uma pequena fração de profissionais está sentindo o vértigo da curva que sobe verticalmente. Tudo isso acontece simultaneamente.
Fonte: Hacker News · Resumido por HeadlinesBriefing