Os LLMs precisam de quantidades enormemente maiores de dados do que as crianças para aprender linguagem. Entender por que isso acontece pode nos ajudar a criar modelos mais eficientes e revelar mais sobre mentes em desenvolvimento.

Os humanos têm se comunicado entre si há pelo menos 100.000 anos, tanto quanto podemos dizer. E durante todo esse tempo, houve apenas uma coisa no mundo capaz de aprender uma língua humana até a fluência perfeita: uma criança humana. Agora há duas. Há apenas quatro anos desde o lançamento de [ADDRESS], muitos de nós agora consideramos como algo óbvio que podemos conversar naturalmente com nossos telefones ou computadores.

LLMs como [PERSON_NAME], [PERSON_NAME] e os modelos GPT da Open AI são suficientemente fluidos e flexíveis para se passar convincentemente por humanos. Mas se olharmos por trás do cortina computacional, há um problema: ensinar um computador a usar a linguagem humana ainda requer uma quantidade desumana de dados. Um LLM pode processar facilmente cem mil vezes mais palavras do que uma pessoa encontrará ao dominar sua língua materna — e muito mais do que as crianças poderiam ouvir até o primeiro aniversário, quando geralmente começam a compreender a linguagem.

O progresso recente tem sido impressionante, diz [PERSON_NAME], cientista cognitivo da Universidade de Stanford, sobre os LLMs. Mas ainda precisamos queimar uma floresta e raspar toda a soma de todo o conhecimento humano para recriar esse marco que acontece em nossas salas de estar ao longo de um ano. Essa lacuna abissal entre crianças e máquinas é chamada de lacuna de eficiência de dados.

Entidades-chave: Empresas: Open AI, Meta | Pessoas: [PERSON_NAME], [PERSON_NAME], [PERSON_NAME] | Locais: Universidade de Stanford, Universidade de Georgetown

Perguntas frequentes: Como é que as crianças ainda podem superar as máquinas linguisticamente mais sofisticadas já construídas?

A diferença está na eficiência de dados. As crianças aprendem linguagem a partir de aproximadamente 100 milhões de palavras até a pré-adolescência, enquanto os LLMs processam trilhões de tokens. A lacuna de eficiência de dados sugere que as crianças usam estruturas cognitivas inatas ou mecanismos de aprendizagem mais eficientes que a IA ainda não conseguiu replicar.

Pergunta frequente: Como é que as crianças ainda podem superar as máquinas linguisticamente mais sofisticadas já construídas?

Resposta frequente: A diferença está na eficiência de dados. As crianças aprendem linguagem a partir de aproximadamente 100 milhões de palavras até a pré-adolescência, enquanto os LLMs processam trilhões de tokens. A lacuna de eficiência de dados sugere que as crianças usam estruturas cognitivas inatas ou mecanismos de aprendizagem mais eficientes que a IA ainda não conseguiu replicar.