Vor sechzehn Jahren schrieb ich ein Java-Programm, das in einem Puzzlespiel namens Drop7 den idealen Zug wählen sollte. Bei jedem Zug hat der Spieler nur sieben Möglichkeiten für seinen nächsten Zug, doch ein Zufallselement macht aus diesem einfachen Spiel ein überraschend schwieriges Problem, das Suche, verborgene Informationen, langfristige Planung und Zufall umfasst.
Ich habe meine Untersuchung an diesem Wochenende wieder aufgenommen und die Frage gestellt, ob es eine autonome Strategie gibt, die im Schnitt mehr als eine Million Punkte pro Spiel erzielt. Ein erfahrener menschlicher Spieler kann mit langfristigem strategischem Denken eine Million Punkte erreichen, doch die besten automatisierten Strategien, die ich entwickeln konnte, erreichen derzeit im Schnitt etwa 300.000 bis 400.000 Punkte.
Der bislang stärkste Forschungskandidat, gelernte Lookup-Tabellen innerhalb einer Suche der Tiefe 4, erreichte im Schnitt 516.155 Punkte über 512 ungesehene Spiele. Ein Expectimax der Tiefe 4 mit handgeschriebener Blattbewertung erreichte auf denselben Spielen im Schnitt 382.567. Beide liegen weiterhin deutlich unter einer Million, daher ist das Forschungsproblem noch offen.
Eine der einfachsten Möglichkeiten, einen Beitrag zu leisten, ist der Wettbewerb in der globalen Rangliste und das Einreichen deiner menschlichen Strategie unter drop7.dev/compete. Das Projekt war außerdem ein Experiment, Agenten als Forschungspartner und Beweissammler einzusetzen. Das vollständige Repository ist auf GitHub unter keshavsaharia/drop7-bench verfügbar.
Besonders willkommen ist Feedback von Personen mit Kenntnissen in Spieltheorie, stochastischer Planung, gelernten Wertfunktionen oder Auswertung schwerer Verteilungsränder. Wie würdest du hier die Rangfolge von Aktionen mit langem Zeithorizont angehen?
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing