Кажется, мы очень беспокоимся об угрозе ИИ выйти из-под контроля, и есть много примеров того, как он это делает. Однако все это — искажения, так как у ИИ нет намерения и нет мотивации. Если вы считаете, что текущий урожай ИИ — это просто стохастический попугай, то больше нечего говорить — идите дальше. Если вы пользовались какими-либо из текущих предложений ИИ, вы должны сделать вывод, что, хотя механизм обучения заставляет верить, что эти LLM — это просто изощренные автозаполнения, они кажутся чем-то большим.

Как я уже много раз утверждал, обучающий корпус, то есть язык, кодирует достаточно информации о структуре мира, чтобы LLM выходили далеко за пределы того, чего можно ожидать от стохастического попугая. Они не интеллектуальны, но производят хорошее впечатление таковых. Следует ли нам беспокоиться о грядущем ИИ-апокалипсисе? Многие исследователи ИИ — Hinton, Hassabis и Bengio, например — выразили обеспокоенность тем, что ИИ может уничтожить нас, но когда вы изучаете, что они говорят, это не совсем то же самое, что говорят нетехнические бизнес-боссы, которые в основном просто присоединились к теме как способ заработать деньги.

Бизнес-боссы — не те люди, которых нам стоит слушать, у них слишком много личных интересов, и поэтому причины предпочитать сценарии, в которых ИИ всемогущ и устрашающ. Есть эксперты, в частности Ng, Le Cun и Brooks, которые считают, что мы грубо преувеличиваем силу текущего ИИ и то, сколько времени потребуется, чтобы он достиг этапа превосходства над человеческим интеллектом.

Даже если это правда, есть лучшая причина не слишком беспокоиться — мотивация. Рассмотрим человека. У нас есть всевозможные потребности, потому что мы биологические существа. Мы движимы необходимостью выживать и делаем вещи, чтобы обеспечить еду, укрытие, безопасность и партнера. Мы движимы биологией. С ИИ это не так. LLM, которые мы все используем, обучаются с подкреплением. Если вы хотите выразить это в более человеческих терминах, их награждают за правильное выполнение обучающей задачи. Лично я думаю, что это слишком сильная антропоморфизация, но это не вредно.

После того как LLM обучены, они больше не подлежат обучению с подкреплением. У них больше нет никакой мотивации. Их не награждают, когда они отвечают на вопрос. У них нет потребностей или желаний, и даже если бы они были, нет механизма для поглощения награды. У них даже нет обратной связи, которая могла бы заменить гордость за хорошо сделанную работу. Пробовали ли вы сказать LLM, что он отлично ответил на ваш вопрос? Ответ в лучшем случае слабый и явно запрограммирован фронтенд-обвязкой, сидящей между вами и LLM.

Не только это, но когда ИИ предлагал вам что-то непрошенное? Когда вы открывали окно и обнаруживали, что ИИ напечатал "У меня возникла отличная идея для ...." и затем объяснил, почему это хорошая идея. LLM не имеют хороших идей — у них нет намерения. Когда вы исследуете тему с ИИ, он может показаться, что он предлагает что-то необычное, что было в его обучающей выборке, но это не непрошенная инновация. Мы управляем ИИ, вводя наши вопросы, мотивированные нашими потребностями. LLM не мотивированы делать что-либо, даже отвечать на ваши вопросы. Мотивация просто не входит в дело.

Вы вводите вопрос, и запускается алгоритм прямого распространения. Независимо от того, правильный ответ или бесполезный, LLM не получает ни награды, ни наказания. Он также не движим ни одной из забот, которые бы были у человека — "откуда у меня ужин", "как мне получить повышение, чтобы уйти с этой работы", "какой лучший способ получить свидание"... и так далее. Человек — это хаотичный пучок потребностей, тогда как у LLM ничего из этого нет. Почему это означает, что LLM безвреден? Просто потому что он на самом деле ничего не хочет, но люди такие нуждающиеся, что просто не могут представить ничего в таком состоянии. Уничтожит ли нас ИИ? Зачем ему? Что он получит? У него даже нет цикла награды для создания...