Большие языковые модели (LLM) требуют значительно большего объема данных, чем дети, для изучения языка. Понимание причин может помочь создать более эффективные модели и раскрыть больше о развивающихся умах.

Люди разговаривают друг с другом по крайней мере 100 000 лет, насколько мы можем судить. И за всё это время в мире существовало только одно существо, способное выучить человеческий язык до полной беглости: человеческий ребёнок. Теперь их двое. Всего четыре года спустя после выпуска [ADDRESS] многие из нас теперь считают само собой разумеющимся, что мы можем естественно разговаривать с нашими телефонами или компьютерами.

LLM вроде [PERSON_NAME], [PERSON_NAME] и моделей GPT от Open AI достаточно беглы и гибки, чтобы убедительно выдавать себя за людей. Но если заглянуть за вычислительный занавес, окажется, что есть подвох: обучение компьютера использованию человеческого языка всё ещё требует нечеловеческого объёма данных. LLM легко может обработать сто тысяч раз больше слов, чем человек встретит в процессе освоения родного языка — и гораздо больше, чем дети могли услышать к своему первому дню рождения, когда они обычно начинают осваивать язык.

Недавний прогресс был поразительным, как говорит [PERSON_NAME], когнитивный учёный из Стэнфордского университета, о LLM. Но нам всё ещё нужно сжечь лес и соскрести всю сумму всего человеческого знания, чтобы воссоздать это достижение, которое происходит в наших гостиных в течение года. Эта огромная пропасть между детьми и машинами называется разрывом в эффективности данных.

Ключевые сущности: Компании: Open AI, Meta | Люди: [PERSON_NAME], [PERSON_NAME], [PERSON_NAME] | Места: Стэнфордский университет, Джорджтаунский университет

Часто задаваемые вопросы: Как дети всё ещё могут превосходить самые языково продвинутые машины, когда-либо созданные?

Разница заключается в эффективности данных. Дети учат язык из примерно 100 миллионов слов к подростковому возрасту, тогда как LLM обрабатывают триллионы токенов. Разрыв в эффективности данных предполагает, что дети используют врождённые когнитивные структуры или более эффективные механизмы обучения, которые ИИ ещё не смог воспроизвести.

Часто задаваемый вопрос: Как дети всё ещё могут превосходить самые языково продвинутые машины, когда-либо созданные?

Часто задаваемый ответ: Разница заключается в эффективности данных. Дети учат язык из примерно 100 миллионов слов к подростковому возрасту, тогда как LLM обрабатывают триллионы токенов. Разрыв в эффективности данных предполагает, что дети используют врождённые когнитивные структуры или более эффективные механизмы обучения, которые ИИ ещё не смог воспроизвести.