Met 999.990 punten heeft een kunstmatige intelligentie de absolute high-score gehaald op het inmiddels 36 jaar oude spel Ms. Pac-Man. De PCM-redactie moest met 13.160 punten genoegen nemen. Wij vroegen de leider van het team achter deze kunstmatige intelligentie hoe ze een computer Ms. Pac-Man hebben leren spelen en waarom.

Kunstmatige Intelligentie is een zeer breed studieveld binnen de informatica. Doel is computers te ontwikkelen die zich bewust zijn van hun omgeving, beslissingen kunnen nemen en aan de hand daarvan leren. Dat hoeft niet te leiden tot zelfdenkende machines die – in de Hollywood-stijl – de wereld overnemen. Realistischer zijn de intelligente computers die zelfrijdende auto’s bedienen. Die zijn zich bewust van de weg, andere auto’s, voetgangers en overige obstakels. Aan de hand daarvan nemen ze stuurbeslissingen en ze leren steeds beter te rijden.

Het in Canada opgerichte bedrijf Maluuba ontwikkelt kunstmatige intelligentie om taal te begrijpen. Het bedrijf is grofweg verdeeld in drie teams. Eén team zorgt dat computers teksten kunnen lezen en daar vervolgens vragen over kunnen beantwoorden. Deze divisie heeft een computer het boek Harry Potter en de Steen der Wijzen laten lezen. Daarna kon de computer inhoudelijke vragen over het boek beantwoorden.

Een tweede team binnen Maluuba richt zich op ‘dialog’. Dat zijn systemen die proberen het juiste antwoord te geven als er tegen ze gepraat wordt. Dat kan bijvoorbeeld gebruikt worden in de telefooncentrale van de eerste hulp. De beller geeft aan wat het probleem is, en de computer zorgt door vragen te stellen dat deze met de juiste hulppost wordt verbonden.

Reinforcement learning

Harm van Seijen (research manager bij Microsoft) werkt voor het derde team in Maluuba, dat zich richt op Reinforcement Learning. Een fundamenteel onderzoeksveld waar de andere twee teams hun voordeel mee doen. Kunstmatige Intelligentie is onderverdeeld in verschillende subvelden waaronder Machine Learning. Binnen dit subveld proberen onderzoekers machines te leren leren. Daar zijn weer onderliggende velden in, bijvoorbeeld Neurale Netwerken die leren op basis van voorbeelden. Daar leert een computer bijvoorbeeld katten op de foto te herkennen door foto’s met en zonder kat te bekijken.

Het veld Reinfocement Learning laat computers leren door beloningen aan beslissingen toe te kennen. De computer probeert door verschillende beslissingen te nemen de hoogst mogelijke score te halen. Dat kan ingezet worden in combinatie met het dialog-systeem van het andere team bij Maluuba, bijvoorbeeld om een systeem te bouwen dat telefonische verkopers argumenten geeft om een product te verkopen.

Volgt na een argument een aankoop, dan genereert dat een positieve beloningsscore. Wordt er niet gekocht, dan is de score nul. Gooit de klant de hoorn op de haak, dan volgt er een negatieve score. Op den duur leert de computer zo welke argumenten goed zijn voor de verkoop en welke minder.

In 2015 is bij de University of Toronto een Reinforcement Learning-onderzoek uitgevoerd met behulp van computerspellen van de (antieke) Atari 2600. Het onderzoeksteam gebruikte daar een zogenaamde Deep Reinforcement Learning techniek om de computer spellen te leren spelen. Met deze nieuwe aanpak wist de computer na training bij zes van de zeven geteste spellen een betere score neer te zetten dan welke andere computer ook. In drie gevallen was de computer zelfs beter dan de beste menselijke spelers.

Verschil met Pac-Man

Het in 1981 gelanceerde spel Ms. Pac-Man zat niet bij de titels die in dit onderzoek met succes gespeeld zijn. Harm: “De techniek bij dat onderzoek doet het heel goed bij zo’n 75 procent van de spellen. Maar bij andere titels, waaronder Ms. Pac-Man, werkte het heel slecht. Waarom was niet duidelijk. We hebben geprobeerd dat uit te leggen, maar konden het niet verklaren. Een doelstelling van ons onderzoek was daarom uitvinden waarom het zo moeilijk was en dat vervolgens op te lossen.”

Ms. Pac-Man is de opvolger van het in 1980 verschenen spel Pac-Man. Voor wie het niet kent (wat we ons nauwelijks kunnen voorstellen): in beide spellen moet de speler het titelkarakter door een doolhof sturen om zo pellets, die in de gangen liggen, op te eten. Is het doolhof leeg, dan begint het volgende level. Vier spoken proberen de speler op zijn beurt op te eten. Door één van de vier in het doolhof aanwezige power pellets op te eten, kan de speler tijdelijk de rollen omdraaien en extra punten scoren door spoken op te eten. Af en toe verschijnt er tijdelijk een stuk fruit in het doolhof. Weet de speler dit op te eten, dan levert dat bonuspunten op.

Op het eerste gezicht lijkt Ms. Pac-Man niet meer aan Pac-Man toe te voegen dan een strik, een oog, lippenstift en een schoonheidsvlek. In werkelijkheid zitten er behoorlijke verschillen tussen de twee titels. Zo beweegt Ms. Pac-Man zich door vier verschillende doolhoven terwijl Pac-Man steeds in hetzelfde doolhof verschijnt. Het fruit beweegt in Ms. Pac-Man, terwijl het in de vorige titel stil lag. Zeker belangrijk voor lerende machines: de spoken in Pac-Man verplaatsen zich relatief aan hoe de speler loopt. Dat maakt het mogelijk om bewegingspatronen te ontdekken en daar de speelstijl op aan te passen. In Ms. Pac-Man bewegen de spoken zich met meer willekeur, waardoor een patroon niet te ontwaren is.

Hoogst mogelijke Pac-Man-score

Pac-Man en Ms. Pac-Man zijn over de afgelopen 37 jaar in een onwaarschijnlijke hoeveelheid varianten op de markt gebracht. De website highscore.com houdt wereldwijd de hoogste scores van computerspellen bij. Een snelle zoektocht op deze site geeft 568 varianten van het spel Ms. Pac-Man. Voor de Atari 2600-variant (die in dit onderzoek gebruikt is) kunnen we kiezen uit een high-score geboekt op een originele Atari 2600 spelcomputer (154.630) of op computer die de Atari emuleert (266.330). Kortom, de score van het team van Harm is 3,75 keer zo hoog als de hoogst genoteerde score in Ms. Pac-Man ooit. Harm: “Dit is de hoogst mogelijke score omdat deze daarna reset naar 0 punten.”

Om dit te bereiken is er een creatieve aanpak van de Reinforcement Learning techniek gebruikt. Het team van Maluuba noemt dit de Hybrid Reward Architecture. Harm: “In Reinforcement Learning heb je te maken met een beloningsfunctie. Normaal heb je één agent die probeert de beloning te maximaliseren. Wij hebben die functie opgesplitst in een hoeveelheid kleinere deelfuncties. We hoeven daarom niet met één agent een complex probleem op te lossen, maar hebben een grote verzameling agents die kleine problemen proberen op te lossen.”

Binnen Ms. Pac-Man maakte het team van allerlei losse onderdelen in het spel een agent. Onder meer de pellets in het doolhof, de spoken, de power-pellets en de ‘eetbare spoken’ (na het eten van een power-pellet) werden agents. In totaal gaven 163 verschillende agents aan of ze vonden dat Ms. Pac-Man omhoog, omlaag, linksaf of rechtsaf moest bewegen.

De beslissing van iedere agent kreeg ook een eigen gewicht. Harm: “Iedere agent spreekt een voorkeur voor actie uit en geeft aan hoe belangrijk hij is. Wat een spook wil is van meer belang dan wat een pellet wil.” Op basis van een zogenaamde ‘lineaire combinatie van Q-waarden’ gebruikt de computer die meningen om een afgewogen beslissing te nemen.

4000 uur later

Hoe beter die beslissing in de eindscore uitpakt, hoe eerder de computer die in een volgend spelletje opnieuw zal nemen. Op die manier leert de machine een steeds hogere score op Ms. Pac-Man te noteren. De computer heeft in totaal bijna 4.000 uur Ms. Pac-Man moeten spelen om de topscore te kunnen noteren. Uitgaande van de vuistregel dat iemand met een 40-urige werkweek gemiddeld per jaar 1.650 uur werkt, vertaalt zich dat naar bijna 2,5 jaar trainen voor een mens. Het spelletje waarbij de topscore behaald werd nam 1 uur en 16 minuten in beslag.

In werkelijkheid heeft het vanzelfsprekend geen 2,5 jaar geduurd voor deze score bereikt werd. Voor het experiment was het niet nodig om de computer op menselijke snelheid te laten spelen. Met behulp van een standaard PC met Intel Core i7-processor is de 4.000 uur training uitgevoerd in 30 uur. Daarvoor was eerst een 20 uur durende optimalisatie nodig in een parallel rekenend netwerk van computers. De totaal benodigde ‘werkelijke’ tijd om Ms. Pac-Man te verslaan werd zo teruggebracht naar 50 uur.

Natuurlijk investeren Microsoft en Maluuba niet in Reinforcement Learning om de hoogste score op een computerspel te kunnen claimen. Het team van Harm voert voor de bedrijven fundamenteel onderzoek uit. Op basis van hun bevindingen kunnen de andere twee teams van Maluuba hun toepassingen verder optimaliseren.

Harm: “In het algemeen probeer je met Reinforcement Learning uit data goed gedrag te leren. Dat kun je potentieel voor veel dingen gebruiken. Binnen taal bijvoorbeeld om in dialogs de juiste respons te berekenen. Dat kan bij simpele taken gewoon met de hand gecodeerd worden. Maar als het om ingewikkeld gedrag gaat, kan dat niet meer. Dan wil je dat er zelf geleerd wordt aan de hand van data. Daar wordt Reinforced Learning voor gebruikt.”

Zelf aan de slag

Wil je zelf met kunstmatige intelligentie aan de slag, dan volgen hier enkele tips:

Stap 1: Bezoek de Arcade Learning Environment

De Arcade Learning Environment biedt een framework waarmee onderzoekers en hobbyisten AI agents voor Atari 2600 spellen kunnen bouwen. Om hiermee aan de slag te gaan is Linux of OS X nodig. Daarnaast dien je over kennis van Python en C++ te beschikken.

Stap 2: Bezoek OpenAI Gym

Op de website van OpenAI Gym kun je het gereedschap vinden om zelf een Reinforcement Learning algoritme te ontwikkelen. Om dit gereedschap te gebruiken is kennis van de programmeertaal Python praktisch. Naast de mogelijkheid om te ontwikkelen, biedt de OpenAI Gym ook opties om resultaten van je werk te vergelijken met die van anderen. De site bevat daarnaast documentatie en een forum om vragen te stellen.

Stap 3: Kies je project

OpenAI Gym biedt een keur aan omgevingen om je eigen kunstmatige intelligentie voor te ontwikkelen. Daar zitten beginnersprojecten bij en mogelijkheden om met de standaard bordspellen aan de gang te gaan. Je kunt zelfs je eigen 2D- en 3D-robotsimulaties maken. Eén van de mogelijke omgevingen waar je voor kunt kiezen zijn de klassieke Atari-computerspellen.

Stap 4: Breid je omgeving uit

Een handig aspect van OpenAI Gym is dat het kan overweg met algoritmes die in andere frameworks gemaakt zijn. Zo kun je de deeplearning Python libraries die Theano biedt inzetten. Ook de open-source Machine Intelligence-uitbreidingen van TensorFlow werken goed met OpenAI Gym samen.

De Xiaomi Pad 7 Pro is een krachtige en capabele Android-tablet met een prijskaartje vanaf 489 euro. Daar krijg je het model met 8 GB werkgeheugen en 256 GB opslagruimte voor; als je 589 euro betaalt, dan krijg je respectievelijk 12 en 512 GB.

Wat je van de Xiaomi Pad 7 Pro mag verwachten, hangt sterk af van wat je ermee wilt doen. Gebruik je 'm vooral om te streamen, scrollen of wat licht werk te verrichten, dan zit je met het basismodel goed. Maar wil je de tablet echt als werkmachine gebruiken? Dan loont het om zo’n honderd euro extra te investeren in accessoires zoals het toetsenbord en de stylus.

Beide zijn nog niet officieel op de Nederlandse Xiaomi-site verschenen, maar de prijzen lijken rond de 80 euro voor het toetsenbord en 70 euro voor de stylus te liggen. Niet goedkoop, maar vergelijkbaar met accessoires voor concurrerende modellen zoals de OnePlus Pad 2.

Er lijken overigens twee toetsenbordvarianten te bestaan: eentje met touchpad en eentje zonder. Wij testten de versie zonder touchpad. Daarmee kun je prima typen, maar de bediening verloopt dan verder via het touchscreen, de stylus of eventueel een externe muis via de usb-c-aansluiting.

Gebruik op schoot is verrassend prettig: het geheel voelt stabiel aan en kantelt niet naar achteren. Ook op tafel of aan een bureau kun je er comfortabel mee werken. Het toetsenbord voegt daarmee echt iets toe – zeker als je de tablet regelmatig productief inzet.

©Wesley Akkerman

Krachtig en courant

De Xiaomi Pad 7 Pro draait op de Qualcomm Snapdragon 8s Gen 3 – een iets lichtere variant van de high-end chip uit 2023 en sinds begin 2024 op de markt. Deze processor levert ruim voldoende kracht voor dagelijkse taken, browsen, tekstverwerken en zelfs de meeste Android-games. Voor zwaardere toepassingen zoals videobewerking is het nét niet de ideale keuze, maar met de juiste apps is het zeker mogelijk. Wel belangrijk om te weten: bij intensief gebruik wordt het apparaat behoorlijk warm.

Het ontwerp is strak, functioneel en onopvallend. Je zou het zakelijk kunnen noemen, al mist het net dat beetje flair waarmee andere merken zich weten te onderscheiden. Op één detail na: de aansluiting voor de toetsenbordhoes zit in een hoek van het toestel, in plaats van in de rand – zoals je bij concurrenten als Samsung, Lenovo of OnePlus vaak ziet. Dat oogt wat minder elegant, al kijk je er zelf zelden tegenaan. Verder doet het ontwerp gewoon wat het moet doen, zonder veel poespas.

©Wesley Akkerman

Goed genoeg voor binnenshuis

Met zijn 11,2 inch lcd-scherm zit de Xiaomi Pad 7 Pro precies op de grens tussen handzaam en serieus werkbaar. Hij is compact genoeg voor op schoot of voor een relaxte sessie op de bank. Het scherm biedt een scherpe resolutie van 3200 bij 2136 pixels, wat zorgt voor een prettige kijkervaring bij films, series en games. De kleuren zijn oké, maar missen wat levendigheid en contrast. Ook de helderheid is niet overweldigend, maar ruim voldoende zolang je binnen blijft. Positieve noot: de verversingssnelheid van 144 Hz maakt het scrollen en gamen heerlijk soepel, en dankzij de 3:2-verhouding heb je lekker veel ruimte om te lezen, typen of multitasken.

Onder de motorkap vind je een accu van 8850 mAh. Dat is niet uitzonderlijk voor een tablet van dit formaat, maar voldoende om een dag door te komen – mits je je bezighoudt met lichte taken zoals tekstverwerken of fotobewerking. Opladen gaat gelukkig razendsnel: met 67 watt zit je in een half uur op zo'n 60 procent, en na een uurtje is de batterij weer vol. Ideaal als je snel nog wat extra sap nodig hebt voor onderweg of een werksessie.

©Wesley Akkerman

Coole software, maar…

De Xiaomi Pad 7 Pro draait op Android 15, met daaroverheen HyperOS – Xiaomi's eigen softwareschil, die je ook terugziet op toestellen als de Xiaomi 15 Ultra. Het systeem is vooral gericht op naadloze samenwerking tussen Xiaomi-apparaten. Heb je bijvoorbeeld ook een Xiaomi-telefoon, dan kun je eenvoudig meldingen synchroniseren, het klembord delen, apps heen en weer gebruiken en zelfs de camera's van beide apparaten combineren voor een extra camerahoek tijdens het livestreamen.

Qua gebruikservaring biedt HyperOS op de tablet wat je inmiddels mag verwachten. Je kunt werken met meerdere vensters (tot vier tegelijk), onderaan staat een dock met veelgebruikte apps, en multitasking verloopt soepel. Allemaal prima, maar niet bijzonder.

Wat wel opvalt: de softwareondersteuning is aan de magere kant. De Pad 7 Pro krijgt slechts twee Android-upgrades en drie jaar beveiligingsupdates. Voor een Pro-model is dat ronduit karig – zeker aangezien het reguliere model vier Android-versies en zes jaar beveiligingspatches krijgt. Ook staan er standaard enkele Xiaomi-apps op die je misschien niet direct nodig hebt, al is dat inmiddels bij vrijwel elk Android-merk gangbaar.

©Wesley Akkerman

Beperkingen in AI en kleine ergernissen

Op het gebied van AI-mogelijkheden stelt de Xiaomi Pad 7 Pro enigszins teleur. Je kunt aan de slag met Google Gemini en Circle to Search, wat basisfunctionaliteit biedt, maar daar houdt het grotendeels op. Voor andere AI-functies binnen Xiaomi's eigen apps ben je aangewezen op plug-ins die alleen werken als je ook een Xiaomi-account hebt. Fotobewerking werkt redelijk, al gaat het – net als bij de Xiaomi 15 Ultra – niet altijd vlekkeloos. Zo zie je soms duidelijk sporen van een opvulfunctie, en ondersteuning voor Nederlandse taal ontbreekt volledig.

Ook zijn er wat kleinere details die in de praktijk kunnen storen. Het hoesje dat wij meekregen blokkeert deels de vingerafdrukscanner, waardoor je je vinger schuin moet houden om goed contact te maken. Het uit de behuizing stekende camera-eiland zorgt er bovendien voor dat de tablet wiebelt wanneer je hem plat op tafel legt. En met een gewicht van 500 gram is hij niet bijzonder zwaar, maar bij langdurig gebruik – zeker op schoot of als je hem gewoon vasthoudt – voel je het gewicht wel degelijk.

©Wesley Akkerman

Xiaomi Pad 7 Pro kopen?

Het gebrek aan echt unieke AI-functies zal veel mensen een zorg zijn. Als je niets met dat soort functies hebt, dan kan het juist goed zijn om te investeren in de Xiaomi Pad 7 Pro. Andere redenen daarvoor zijn de krachtige processor, de prima accuduur en het sobere doch strakke ontwerp. Het scherm zou beter kunnen, maar als je binnen blijft, hoeven er geen problemen te zijn. Het updatebeleid is overigens wel echt ondermaats. Dat is het grootste struikelblok momenteel: voor de rest is dit een prima tablet voor een brede doelgroep.

Sta jij ook weleens 's ochtends in een mand vol klamme kleding te graaien, op zoek naar iets dat nét droog genoeg is om aan te kunnen? Dan is het hoog tijd voor een droger die wél met je meewerkt. Maar waar kies je voor: een condensdroger of een warmtepompdroger? Of toch die ouderwetse luchtafvoerdroger? We leggen je uit wat de verschillen zijn, zodat jij straks nooit meer hoeft te gokken of je sokken al droog zijn.

De belangrijkste verschillen op een rij

Er zijn grofweg drie soorten wasdrogers, elk met hun eigen gebruiksgemak en eigenaardigheden:

💨 De luchtafvoerdroger is een echte no-nonsense machine. Hij blaast warme lucht door je kleding en voert de vochtige lucht naar buiten af via een slang. Simpel, snel en effectief. Maar let op: je moet wel een raam of gat in de muur hebben waar die slang doorheen kan. Niet bepaald ideaal in een strak appartement.

💧 De condensdroger is wat flexibeler: hij vangt het vocht uit je was op in een waterreservoir of voert het af via een afvoerslangetje. Geen gedoe met buitenlucht, dus hij past overal. Verwacht wel iets meer droogtijd dan bij de luchtafvoerdroger.

☀ De warmtepompdroger is de energiebesparende kampioen. Hij hergebruikt de warme lucht, waardoor je stroomverbruik flink daalt. Wel even geduld hebben, want deze droger neemt de tijd – maar dat doet hij met beleid én liefde voor je energierekening.

Snel, maar niet meer van deze tijd: de luchtafvoerdroger

Heb jij geen zin om uren te wachten tot je was eindelijk droog is? Dan klinkt de luchtafvoerdroger als een droom: snel, doeltreffend en niet al te duur in aanschaf. De vochtige lucht wordt direct naar buiten geblazen, dus jouw handdoeken liggen in no-time weer fris en droog in de kast. Ideaal voor drukke huishoudens of ongeduldige types die niet van half werk houden.

Maar… er zit een addertje onder het wasrek. Deze drogers zijn tegenwoordig lastig te vinden – en dat is niet voor niets. Ze slurpen namelijk energie en zijn allesbehalve zuinig. Heb je er nog eentje thuis staan? Dan is het misschien tijd om te overwegen over te stappen op een nieuwer, duurzamer model. Je portemonnee (en het milieu) zullen je dankbaar zijn.

©alexlmx

Compact en flexibel: de condensdroger

Weinig ruimte, maar toch geen zin in rondslingerende wasrekken? Dan is de condensdroger jouw redder in nood. Omdat hij het vocht opvangt in een reservoir, hoef je geen afvoerslang naar buiten te leggen. Stekker in het stopcontact en draaien maar, of je nu in een studio woont of in een kast van een huis.

Qua prijs en verbruik zit de condensdroger mooi in het midden. Iets duurder dan de ouderwetse luchtafvoerdroger, maar een stuk vriendelijker voor je energierekening. En hoewel hij je was niet razendsnel droogt, doet hij dat wel netjes, betrouwbaar en zonder ingewikkeld gedoe met installaties of verbouwingen.

Slim, zuinig en toekomstproof: de warmtepompdroger

Wil je je was drogen zónder dat je energiemeter op tilt slaat? Dan zit je goed met een warmtepompdroger. Deze slimme droogtechnologie hergebruikt warme lucht, waardoor je wasmachinevriend net zo efficiënt werkt als een moderne chef met restjes: weinig verspilling, groots resultaat. Het energieverbruik is opvallend laag en dat zie je terug op je energierekening.

Ja, de aanschafprijs ligt wat hoger. Maar daar staat tegenover dat je jarenlang vooruit kunt met deze duurzame krachtpatser. Hij werkt rustiger, slijt minder snel en heeft vaak allerlei handige programma's om je kleding in topvorm te houden.

En dan hebben we het nog niet eens gehad over de planeet. Warmtepompdrogers zijn veruit de meest milieuvriendelijke optie van de drie. Minder CO₂-uitstoot, minder verspilling, meer gemoedsrust. Goed voor je portemonnee én voor de wereld van morgen.

Ook interessant: Het ideale vulgewicht voor jouw wasmachine

Succes met je beslissing!

Zoals je ziet, heeft elk type droger zo z'n eigen voordelen. Het is dus vooral een kwestie van goed afwegen wat voor jou de beste keuze is. Is je budget wat krapper en heb je niet al te veel ruimte thuis? Dan is een condensdroger waarschijnlijk de beste keuze voor jou. Als je voor duurzaamheid gaat, dan is de warmtepompdroger jouw vriend. Met deze handige tips kun jij in ieder geval een weloverwogen beslissing nemen over de aanschaf van je nieuwe droger. Veel succes en geniet van je sneldrogende was!