Шестнадцать лет назад я написал программу на Java, которая пыталась выбирать идеальный ход в головоломке Drop7. На каждом ходу игрок имеет всего семь вариантов для следующего хода, но элемент случайности превращает эту простую на вид игру в удивительно сложную задачу, включающую поиск, скрытую информацию, долгосрочное планирование и случай.
На этих выходных я возобновил исследование, спросив, существует ли автономная стратегия, которая в среднем набирает более одного миллиона очков за игру. Опытный игрок-человек может достичь миллиона очков благодаря долгосрочному стратегическому мышлению, однако лучшие автоматизированные стратегии, которые мне удалось разработать, в среднем набирают около 300–400 тысяч очков.
Самый сильный исследовательский кандидат на данный момент — таблицы поиска, обученные внутри поиска глубины 4, — в среднем набрал 516 155 очков в 512 новых играх. Expectimax глубины 4 с вручную написанной оценкой листьев в тех же играх в среднем набрал 382 567 очков. Оба результата по-прежнему далеки от миллиона, поэтому исследовательская задача остаётся открытой.
Один из самых простых способов внести вклад — участвовать в глобальной таблице лидеров и отправить свою человеческую стратегию на drop7.dev/compete. Проект также стал экспериментом по использованию агентов в качестве исследовательских помощников и сборщиков доказательств. Полный репозиторий доступен на GitHub по адресу keshavsaharia/drop7-bench.
Особенно приветствуются отзывы от людей, разбирающихся в теории игр, стохастическом планировании, обученных функциях ценности или оценке тяжёлых хвостов распределения. Как бы вы подошли здесь к ранжированию действий с длинным горизонтом?
Источник: Hacker News · Сводку подготовил HeadlinesBriefing