A Ms. Pac-Man Atari 2600-ra kiadott 1983-as verzióját játszva 266 360 pont a legmagasabb Pac-Man-eredmény, amit valaha ember elért. Nos, nem elég, hogy nemrég sakkban, góban is legyőzték a humán játékost a gépek, most Pac-Manben is megalázó vereséget mért ránk a gépi intelligencia: az elérhető legjobb eredményt, 999 990 pontot gyűjtött be egy kanadai startup cég, a Maluuba által fejlesztett mélytanulásra képes gépi intelligencia.

A Microsoft által idén felvásárolt Maluuba mérnökei kifejezetten mesterséges intelligencia fejlesztésével foglalkoznak, egyik specialitásuk pedig az úgynevezett megerősítéses mélytanulás (deep reinforcement learning), amivel egyébként már más cégek is elkezdtek foglalkozni korábban. 2015-ben már érkezett hír arról, hogy miképp győzte le az embert néhány egyszerűbb Atari-játékban (Breakout, Pong, Enduro) egy erre specializált AI, és a jelek szerint alig két év kellett hozzá, hogy ez egy olyan bonyolult és nehéz játék esetében is bekövetkezzen, mint a Pac-Man.

A deep reinforcement learning két gépi tanulási módszert ötvöz: a megerősítéses tanulást és a mélytanulást. A megerősítéses tanulás elve nagy vonalakban annyi, hogy a gép próbálkozik megbirkózni egy feladattal, aztán a kapott eredmény alapján finomítja a további próbálkozásait, és így egyre ügyesebb lesz. A mélytanulás lényege pedig az, hogy nagy mennyiségű, különféle típusú (szöveges, képi stb.) adatokat több rétegben, több szinten is rendszerez és dolgoz fel az AI.

A Maluuba mesterséges intelligenciája négy különböző fontosságú feladatra tördelte a Pac-Mant alkotó kihívásokat: a pontzabálást, a szellemek elkerülését, a gyümölcsök begyűjtését, egyes szellemek megevését. Az AI egy úgynevezett hibrid jutalomstruktúrában (Hybrid Reward Architecture) mindegyik alfeladathoz külön tanulási ágenst rendelt (összesen 163-at), a hozzá illő mértékű tanulási jutalommal, azaz a játék nagy döntési helyzetét (életben maradni) több kicsi döntési helyzetre tördelte, és ezeket mérlegelve, súlyozva mozgatta a Ms. Pac-Mant. A tanulási folyamat végére az AI képes volt a játék tökéletes végigjátszására.

A fejlesztők egyébként azért választották az Atari 2600-ra írt verzióját a játéknak, mert az sokkal kiismerhetetlenebbre sikerült, mint a korábbi, más platformokra írt verziók, így ezzel az AI-fejlesztésen dolgozó kutatók közelebb tudtak kerülni a való életben felmerülő problémákhoz.