Разработчик дообучил языковую модель с 360 млн параметров, чтобы она работала как терминал. За ней нет ни оболочки, ни файловой системы. Вместо этого каждое нажатие клавиши подается в модель, которая предсказывает, как изменится экран. По словам автора, она умеет создавать файлы, запускать vim и tmux, играть в змейку и обычно помнит, что было введено несколькими командами ранее. Самые заметные улучшения появились, когда модель научили исправлять собственные ошибки и декодировать строки экрана параллельно. Демо работает в браузере и занимает около 208 МБ. Пользователи могут ввести "pythoon", чтобы убедиться, что это не настоящая оболочка.
Проект вдохновлен Genie 3, который намечал будущее, в котором приложения не программируются, а обучаются. Автор сузил эту идею с игрового мира до терминала. Терминал представляет собой сетку символов, а не пикселей, и обучающие данные можно получить, запуская настоящие оболочки. Модель основана на Qwen2.5-Coder-0.5B и дообучена на записанных сеансах терминала реальных программ, запущенных в Docker.
Обычные языковые модели добавляют токены по одному, что не подходит для терминала: одно нажатие клавиши может действовать самостоятельно, а вывод не всегда появляется внизу экрана. Поэтому модель предсказывает изменения в сетке символов. Каждый сеанс начинается со снимка размера экрана, его содержимого и положения курсора. Нажатия передаются как необработанные байты, которые получил бы настоящий терминал, а модель отвечает списком строк для перезаписи и новым положением курсора. Время также является входом, поэтому токен WAIT позволяет змейке двигаться без нажатия клавиш.
Чтобы не перегенерировать каждую строку при прокрутке экрана, автор добавил операцию COPY, которая переносит строки с предыдущего экрана, экономя тысячи токенов на каждое нажатие. Демо рассчитано на настольный браузер с поддержкой WebGPU и физической клавиатурой; рекомендуются Chrome или Edge.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing