HeadlinesBriefing favicon HeadlinesBriefing.com

Обратно спроектированная Jev-подобная модель: оценка вариантов

Hacker News •
×

Обучите небольшую модель, которая выбирает из меняющегося списка текстовых вариантов. Jev-подобная модель принимает фрагмент текста и список из N текстовых вариантов. Она возвращает одну вероятность для каждого варианта за один проход вместо того, чтобы писать ответ слово за словом. Jev — это коммерческая модель Type Safe для этой задачи, но Type Safe не опубликовала её дизайн. Этот репозиторий — независимая стартовая модель с той же формой входа и выхода.

Та же голова внимания к вариантам может оценивать кнопки контроллера по фрагментам изображения. Десятисекундный фильм объединяет два выбранных пятисекундных окна: живой смертельный бой deadly_corridor на семи кнопках Doom, затем шахматный контроллер, который подходит к ходам и играет их пятью клавишами. Окно Doom взято из предоставленного совместного чекпоинта, который в среднем дал 0,60 убийств и -97,50 награды за свои десять записанных эпизодов. Шахматное окно взято из более сильного чисто шахматного чекпоинта, который показал 4 победы, 46 ничьих и 0 поражений в 50 выборочных партиях против случайного игрока, но 0 побед, 2 ничьи и 48 поражений против Stockfish уровня 0. Окна были выбраны по активности и не являются заявлениями о типичной игре или компетентности.

Установите игровые дополнения и запишите новый трейс Doom 640 на 480 из выпущенного совместного чекпоинта: uv pip install -e '.[games]' python examples/doom/play.py examples/checkpoints/joint-imitation.pt --episodes 10 --game-seconds 35.3 --device cpu --capture-resolution 640x480 --output runs/doom.mp4 --trace runs/doom-trace.json Отрисуйте трейс в том же визуальном макете. Это создаёт немой фильм, поскольку принадлежащий автору источник саундтрека не является частью репозитория. (cd examples/film && npm install && npx playwright install chromium) examples/film/make-film.sh runs/doom-trace.json runs/doom-film.mp4 10

Релиз включает пример Doom, шахматный пример, чекпоинты для одной игры и общий чекпоинт на 12 вариантов. Обе игры импортируют визуальный оценщик из jevlike.vision; ни в одном примере нет второй копии модели. Архитектура Каждый вариант становится вектором запроса — коротким списком чисел, представляющим его текст. Запрос назначает веса внимания токенам контекста. Эти веса формируют один вектор контекста для этого варианта. Общее скалярное произведение превращает каждую пару варианта и контекста в одну оценку. Softmax выполняется по вариантам. Кодировщик по умолчанию изучает байтовые эмбеддинги с нуля. Необязательный путь Hugging Face использует замороженный предобученный кодировщик. Формат данных Используйте один объект JSON на строку: {"context":"The customer needs a refund.","options":["refund","sales","technical support"],"label":0} label — это индекс правильного варианта с отсчётом от нуля. Каждая строка может иметь разное число вариантов, минимум два. Быстрый старт Выполните эти команды из корня репозитория: uv venv source .venv/bin/activate uv pip install -e '.[dev]' jevlike-data synthetic --output data/synthetic jevlike-train data/synthetic/train.jsonl --validation data/synthetic/validation.jsonl --output runs/synthetic.pt jevlike-eval runs/synthetic.pt data/synthetic/test.jsonl jevlike-predict runs/synthetic.pt --context "Choose the exact badge amber badger. Badge: amber badger." --option "azure crane" --option "amber badger" --option "gold heron" Оценка выводит точность top-1, точность top-3, ожидаемую ошибку калибровки и контроль с перемешанным контекстом. Используйте свои данные: Экспортируйте файлы JSONL для обучения, валидации и теста в формате выше.

Ключевые сущности: Компании: Type Safe