Intelligente software leert Ms Pac-Man spelen

Medewerkers van een Hongaarse universiteit zijn er in geslaagd om zelfdenkende software agents te maken die het klassieke Ms. Pac-Man kunnen spelen.

Twee medewerkers van de Hongaarse Eotvos University zijn er in geslaagd zelfdenkende software agents te maken die succesvol gebruikmaken van reinforcement learning tijdens het spelen van Ms. Pac-Man, een klassieke game van Atari uit 1986.

De keuze voor Ms. Pac-Man was bewust. In deze versie volgen de spoken namelijk geen vaste route, zoals bij de eerste versie uit 1979 nog wel het geval was. De ai-agents kunnen hierdoor niet vooraf voorspellen welke actie ze moeten ondernemen. Dat betekent dat de software steeds in de gaten moet houden wat de spoken doen en beslissingen moet nemen op basis van die observaties.

Onderzoekers Istvan Szita en Andras Lorincz gebruikten voor hun agents reinforcement learning in combinatie met een aantal vaste regels. De onderzoekers lieten de software vijftig potjes spelen en vergeleken de resultaten met die van menselijke spelers. Het gemiddelde van de ai-agents lag net iets hoger dan dat van de menselijke spelers. In een vergelijkbaar experiment, waarin de agents niet van hun acties konden leren, viel de score van de agents beduidend lager uit dan dat van de menselijke spelers.

Ondanks het positieve resultaat waren er opvallende verschillen in speelstijl tussen de zelflerende agents en de menselijke spelers. Zo probeerden de menselijke spelers te voorspellen waar spoken zouden opduiken en probeerden ze te berekenen hoe groot de kans was dat ze een spook konden bereiken. Dat was voor de agents nog te hoog gegrepen.