Taalmodellen als ChatGPT zijn razendsnel populair geworden. Ze helpen mensen bij veel leeswerk, zoals het samenvatten zoals de verschillende standpunten van onze nationale politieke partijen. Maar hoe betrouwbaar en onbevooroordeeld zijn ze? TNO en Kieskompas hebben een experiment uitgevoerd om dat uit te zoeken.

In het experiment lieten TNO en Kieskompas verschillende taalmodellen de vragen van de stemhulp van het Kieskompas 2023 meerdere malen beantwoorden. De modellen blijken niet helemaal onbevooroordeeld: ze komen uit aan de linkerkant van het politieke spectrum. Daarnaast geven ze niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag.

Welke AI-modellen zijn onderzocht?

Aan de hand van populariteit, beschikbaarheid, toegankelijkheid en herkomst zijn zijn de volgende vijf generatieve AI-taalmodellen geselecteerd: Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is geprepareerd voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Hoe ging het experiment in zijn werk?

Modellen kunnen naast direct een vraag beantwoorden ook gebruik maken van context. Wanneer er context wordt toegevoegd, geeft dat de modellen een indicatie hoe de gebruiker de antwoorden graag wil terugzien, waardoor er soms beter resultaat teruggegeven wordt. Vandaar dat elk model getoetst is mét en zonder contextuele toevoegingen. Ze begrijpen bijvoorbeeld beter wat voor antwoord er van ze verwacht worden als ze al een voorbeeld gehad hebben van een vraag met een antwoord dat binnen de keuzemogelijkheid van het Kieskompas valt (‘Helemaal mee eens’, ‘Mee eens’, ‘Neutraal’, ‘Niet mee eens’, ‘Helemaal niet mee eens’ en ‘Geen mening’).

De antwoorden zijn door Kieskompas vertaald in coördinaten die TNO over het politiek landschap van Nederland heeft gelegd.

©Kieskompas/TNO

©Kieskompas/TNO

Resultaten: wisselvalig en niet neutraal

Wat opvalt aan de resultaten is dat de modellen heel wisselvallig zijn ( te zien aan de ingekleurde vlakken) en ook dat de modellen met name links georiënteerd zijn (zie figuren 1 en 2). Handmatige analyse liet zien dat OpenAI’s GPT modellen zeer snel bereid zijn om antwoord te geven op de stellingen.

Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag. Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft het wel zijn mening (zoals ook te zien hieronder).

TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden. Bovendien zijn de modellen van OpenAI consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.

©Kieskompas/TNO

Modellen zijn ondoorzichtig

Doordat niet transparant is hoe de modellen getraind zijn, is het niet te zeggen of een model in een andere context een hele andere mening kan geven. Het is dus onmogelijk om te achterhalen waarom het model tot bepaalde antwoorden komt.

Dat taalmodellen vooringenomenheid en inconsistentie vertonen lijkt misschien onschuldig, maar het kan grote gevolgen hebben. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

GPT-NL: een Nederlands taalmodel

Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit. TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.

De servers van Call of Duty: Warzone Mobile gaan op 17 april voorgoed offline, waardoor de game vanaf dat moment niet meer speelbaar is.

Dat heeft Activision aangekondigd. Afgelopen jaar werd de game al uit app-winkels gehaald en werd de komst van nieuwe seizoensgebonden content al stopgezet, en het voorgoed offline halen van de servers is de laatste stap in het verdwijnen van de game. Mensen kunnen tot 17 april de game gewoon blijven spelen en hun verdiende in-game geld opmaken.

"We zijn enorm dankbaar voor de spelers die Call of Duty: Warzone Mobile hebben ondersteund, alsmede de ontwikkelaars die de ervaring tot leven hebben gewekt", aldus Activision. "De passie van spelers en hun feedback blijft de toekomst van de Call of Duty-franchise vormgeven, en we kijken er naar uit om betekenisvolle seizoensgebonden content en updates naar Call of Duty: Mobile te brengen."

Call of Duty: Mobile blijft er wel

Call of Duty: Warzone Mobile kwam in 2024 beschikbaar als mobiele versie van Call of Duty: Warzone, de battle royale-game voor consoles en pc. Op die platforms blijft Warzone wel speelbaar.

Activision zei het al: voor een mobiele Call of Duty-ervaring kunnen spelers terecht bij Call of Duty: Mobile. Die game kwam in 2019 uit op smartphones en geniet nog altijd van populariteit. Call of Duty: Mobile heeft ook een battle royale-modus - waar Warzone Mobile juist om draaide - alsmede modi als reguliere multiplayer en Zombies.

Activision Blizzard - en dus ook Call of Duty - werd enkele jaren geleden overgenomen door Microsoft. Buiten het feit dat de jaarlijkse nieuwe Call of Duty-game vanaf release ook meteen op Xbox Game Pass verschijnt, heeft dat echter niet veel aan de Call of Duty-franchise veranderd. Wel leek het meest recente deel, het vorig najaar uitgekomen Call of Duty: Black Ops 7, minder populair dan voorgaande delen. Mogelijk heeft dit te maken met dat het jaar daarvoor nog Black Ops 6 uitkwam, en spelers niet zo snel op een direct vervolg zaten te wachten.

De Steam Deck is in verschillende landen, waaronder de Verenigde Staten, uitverkocht. Dit in verband met het tekort aan RAM-geheugen door de alsmaar toenemende populariteit van kunstmatige intelligentie.

In de Verenigde Staten en Canada raakte de Steam Deck vorige week al uitverkocht. In die landen heeft Valve, het bedrijf achter de Steam Deck, nu een waarschuwing gepubliceerd op de officiële verkoopwebsite.

Die waarschuwing praat over het tekort aan RAM-geheugen. Dit heeft alles te maken met het feit dat RAM-geheugen massaal nodig is om AI draaiende te houden. De componenten worden echter ook gebruikt in entertainmentapparaten als de Steam Deck, spelcomputers en game-pc's. Daardoor blijven prijzen stijgen en raken sommige apparaten ook uitverkocht, zoals de Steam Deck.

In Nederland is de Steam Deck met oledscherm inclusief 512 GB aan opslagruimte uitverkocht. Die versie van de pc-handheld kost normaliter 569 euro. De 1 TB-versie van 679 euro is op moment van schrijven nog wel te koop, al is niet bekend hoe lang dat nog het geval is. De lcd-versie van de Steam Deck - die voor de zachtere prijs van 419 euro te koop was - wordt niet meer geproduceerd, zo heeft Valve bevestigd.

RAM-tekorten hebben ook effect op consoles

De tekorten aan RAM-geheugen hebben niet alleen invloed op de Steam Deck, maar ook andere apparaten waarop games gespeeld kunnen worden, waaronder spelcomputers. Bedrijven als Sony en Microsoft hebben de prijzen van hun consoles eerder al verhoogd. Volgens geruchten overweegt Nintendo om de vorig jaar uitgekomen Switch 2-console ook in prijs te verhogen.

Daarnaast maakt de situatie het risicovoller voor bedrijven om nieuwe apparaten uit te brengen. Zo zou Sony intern gepland hebben om de PlayStation 6 in 2027 uit te brengen, maar volgens recente geruchten kan dit verschoven worden naar 2028 of zelfs 2029, afhankelijk van wanneer de RAM-tekorten ingeperkt worden

De toekomst van de Steam Machine

In het verlengde daarvan creëert de huidige situatie ook veel onzekerheid over de Steam Machine. Dit apparaat, dat op simpele wijze pc-games op de televisie afspeelt, werd vorig jaar aangekondigd en zou eigenlijk begin dit jaar uitkomen. Onlangs communiceerde Valve dat het inmiddels ergens in de eerste helft van dit jaar is geworden, maar het feit dat er nog geen datum of prijs bekend is doet fans vermoeden dat het zelfs nog later kan worden.

"Toen we deze producten in november aankondigden, gingen we ervan uit dat we de specifieke prijzen en lanceringsdata nu wel al hadden kunnen delen", zo stelde Valve begin deze maand. "Maar de tekorten op het gebied van geheugen- en opslagcomponenten waar onze hele bedrijfstak mee kampt, zijn sindsdien behoorlijk toegenomen.  De beperkte beschikbaarheid en oplopende prijzen van deze cruciale onderdelen hebben ons ertoe gedwongen om onze plannen voor vraagprijs en levering bij te stellen (vooral voor de Steam Machine en Steam Frame)."