Последние несколько недель я играл с gpt-5.6-luna. Он поразительно способный, быстрый и умный. Я регулярно вижу, как он делает ~100 токенов в секунду и быстро просматривает мою кодовую базу, электронную почту и базу знаний. Конечно, самое главное в luna — это стоимость. Я пытался запускать довольно сложные исследовательские цепочки, и довольно трудно накопить большой счет. Даже заставляя его искать по тысячам писем, я получаю стоимость API в десятки центов. С GLM 5.3 у нас даже есть новая опция на границе Парето.

При выполнении работы по кодированию я почти всегда обращаюсь к самым дорогим и способным моделям (Fable 5, 5.6 Sol). Поэтому было легко не заметить прогресс, достигнутый малыми быстрыми моделями. Одна вещь, которую упомянули несколько инвесторов, с которыми я разговаривал: «Странно, что мы не видим больше потребительских ИИ-компаний. Почему?» Есть простой ответ: стоимость токенов.

Во времена до ИИ сценарий для больших потребительских приложений выглядел так: создать какой-то привлекательный веб-сайт, который довольно дешево поддерживать, привлечь кучу пользователей (обычно с некоторой виральностью), собрать деньги, масштабироваться до большего числа пользователей, создать рекламный рынок. Это примерно описывает большинство крупных потребительских компаний (Google, Facebook, Snapchat и т. д.). Но что, если вы хотите добавить ИИ в свой продукт? Ну, теперь у вас есть реальные затраты на вывод на каждый запрос! Внезапно объем требуемого капитала резко возрастает.

Моя любимая оценка — создать сайт ежедневных новостей, персонализированный для меня: исследовать @calvinfo в интернете, выяснить, какие новости им могут понравиться, создать микро-сайт с сегодняшними главными историями, персонализированный для них, искать hn, reddit, twitter и т. д. С предыдущим поколением моделей (класс Sonnet) вы бы потратили ~$1, чтобы куда-то попасть. Взимать $30/мес неприемлемо для потребительского приложения. Здесь можно многое оптимизировать, но если вы берете столько же, сколько WSJ или The Economist, вам лучше предоставлять аналогичную ценность. Но глядя на luna, результаты довольно приличные, а средняя стоимость составляет ~$0,10. Теперь мы говорим!

Где, я думаю, это становится еще интереснее, так это в мире бизнеса. Мой соучредитель Segment, Peter, и я недавно сравнивали заметки в походе. В своих различных стартапах Peter видел два вида работы: работу «IQ 180» (какой-то безумный ученый-гений придумывает безумное решение, о котором вы никогда не думали) и работу «выплевывателя токенов» (быть сверхотзывчивым, продвигать дело на десятках разных фронтов). Peter управляет несколькими компаниями. Помимо Segment, он привлек более $100 млн для Charm Industrial и недавно закрыл раунд серии A для Revoy. Он невероятно организован и эффективен со своим временем. И все же Peter упомянул, что ~95% работы, которую он делает, попадает в корзину 2. Это прыгать на звонки, подталкивать людей, блокировать и атаковать. Чтобы быть ясным, Peter говорит, что его компании сегодня были бы мертвы без технического ума с IQ 180, решающего глубокие проблемы. Просто большая часть его работы попадает в корзину 2.

Я думаю, что спрос на модели «пограничного уровня» будет продолжать расти, особенно для областей, требующих новых прорывов или открытий (инженерия, фундаментальная наука, обучение моделей). Но я также думаю, что спрос на модели «быстрые/дешевые/достаточно хорошие» вот-вот взлетит. Подумайте о людях, с которыми вы взаимодействуете ежедневно: коллеги, поставщики и клиенты. В девяти случаях из десяти вы хотите кого-то, кто сверхотзывчив и просто решает вопросы за вас. Большинство «человеческих токенов» в компаниях сегодня тратятся именно так — найм сильно смещается в сторону архетипа быстрый/дешевый/достаточно хороший. Нужно проделать большую работу, чтобы сделать быстрые/дешевые/достаточно хорошие модели реальностью для бизнеса: новые обвязки, защита от инъекций промптов, роли и разрешения. Но я уверен, что мы это решим. Если вы тоже экспериментируете с тем, чтобы сделать малые модели полезными, пожалуйста, напишите мне. Amazon и Netflix — заметные исключения. Peter здесь также скромен; он остр как бритва.