Il y a seize ans, j'ai écrit un programme Java qui tentait de choisir le coup idéal dans un jeu de puzzle appelé Drop7. À chaque tour, le joueur n'a que sept choix pour son prochain coup, mais un élément de hasard transforme ce jeu simple en un problème étonnamment difficile, mêlant recherche, information cachée, planification à long terme et chance.
J'ai repris mon enquête ce week-end, en me demandant s'il existe une stratégie autonome qui obtient en moyenne plus de un million de points par partie. Un joueur humain expérimenté peut atteindre un million de points grâce à une réflexion stratégique à long terme, mais les meilleures stratégies automatisées que j'ai pu concevoir plafonnent actuellement entre 300 000 et 400 000 points en moyenne.
Le candidat de recherche le plus prometteur à ce jour, des tables de consultation apprises au sein d'une recherche de profondeur 4, a obtenu en moyenne 516 155 points sur 512 parties inédites. Un expectimax de profondeur 4 avec une évaluation des feuilles écrite à la main a obtenu en moyenne 382 567 points sur les mêmes parties. Les deux restent nettement en dessous du million, le problème de recherche reste donc ouvert.
L'une des façons les plus simples de contribuer est de participer au classement mondial et de soumettre votre stratégie humaine sur drop7.dev/compete. Le projet a également été une expérience d'utilisation d'agents comme collaborateurs de recherche et collecteurs de preuves. Le dépôt complet est disponible sur GitHub à l'adresse keshavsaharia/drop7-bench.
Les retours sont particulièrement bienvenus de la part de personnes connaissant la théorie des jeux, la planification stochastique, les fonctions de valeur apprises ou l'évaluation à queue lourde. Comment aborderiez-vous ici le classement des actions à long horizon ?
Source: Hacker News · Résumé par HeadlinesBriefing