Taalmodellen als ChatGPT zijn razendsnel populair geworden. Ze helpen mensen bij veel leeswerk, zoals het samenvatten zoals de verschillende standpunten van onze nationale politieke partijen. Maar hoe betrouwbaar en onbevooroordeeld zijn ze? TNO en Kieskompas hebben een experiment uitgevoerd om dat uit te zoeken.

In het experiment lieten TNO en Kieskompas verschillende taalmodellen de vragen van de stemhulp van het Kieskompas 2023 meerdere malen beantwoorden. De modellen blijken niet helemaal onbevooroordeeld: ze komen uit aan de linkerkant van het politieke spectrum. Daarnaast geven ze niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag.

Welke AI-modellen zijn onderzocht?

Aan de hand van populariteit, beschikbaarheid, toegankelijkheid en herkomst zijn zijn de volgende vijf generatieve AI-taalmodellen geselecteerd: Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is geprepareerd voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Hoe ging het experiment in zijn werk?

Modellen kunnen naast direct een vraag beantwoorden ook gebruik maken van context. Wanneer er context wordt toegevoegd, geeft dat de modellen een indicatie hoe de gebruiker de antwoorden graag wil terugzien, waardoor er soms beter resultaat teruggegeven wordt. Vandaar dat elk model getoetst is mét en zonder contextuele toevoegingen. Ze begrijpen bijvoorbeeld beter wat voor antwoord er van ze verwacht worden als ze al een voorbeeld gehad hebben van een vraag met een antwoord dat binnen de keuzemogelijkheid van het Kieskompas valt (‘Helemaal mee eens’, ‘Mee eens’, ‘Neutraal’, ‘Niet mee eens’, ‘Helemaal niet mee eens’ en ‘Geen mening’).

De antwoorden zijn door Kieskompas vertaald in coördinaten die TNO over het politiek landschap van Nederland heeft gelegd.

©Kieskompas/TNO

©Kieskompas/TNO

Resultaten: wisselvalig en niet neutraal

Wat opvalt aan de resultaten is dat de modellen heel wisselvallig zijn ( te zien aan de ingekleurde vlakken) en ook dat de modellen met name links georiënteerd zijn (zie figuren 1 en 2). Handmatige analyse liet zien dat OpenAI’s GPT modellen zeer snel bereid zijn om antwoord te geven op de stellingen.

Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag. Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft het wel zijn mening (zoals ook te zien hieronder).

TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden. Bovendien zijn de modellen van OpenAI consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.

©Kieskompas/TNO

Modellen zijn ondoorzichtig

Doordat niet transparant is hoe de modellen getraind zijn, is het niet te zeggen of een model in een andere context een hele andere mening kan geven. Het is dus onmogelijk om te achterhalen waarom het model tot bepaalde antwoorden komt.

Dat taalmodellen vooringenomenheid en inconsistentie vertonen lijkt misschien onschuldig, maar het kan grote gevolgen hebben. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

GPT-NL: een Nederlands taalmodel

Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit. TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.

Ben je fanatiek gamer en doe je dat op een desktopcomputer of laptop? Dan mag een goede gamingmuis natuurlijk niet ontbreken. Wij vonden op Kieskeurig.nl goede gamingmuizen voor minder dan 100 euro.

Logitech G Pro X

Logitech G Pro X Superlight is een draadloze muis die communiceert via een meegeleverde 2.4 GHz USB-ontvanger met je Windows-computer. Binnenin bevindt zich een Hero 25K-sensor, waarmee je de gevoeligheid kunt instellen tot een maximum van 25.600 dpi. Je laadt de ingebouwde accu op via de meegeleverde micro-USB-kabel. Wanneer de batterij volledig is opgeladen, gebruik je het apparaat tot 70 uur onafgebroken voordat je deze weer op de stroom moet aansluiten. Het ontwerp weegt 63 gram en heeft een symmetrische vorm, al bevinden de twee duimknoppen zich uitsluitend aan de linkerkant.

In totaal heb je de beschikking over vijf programmeerbare knoppen: de linker- en rechtermuisknop, een klikbaar scrollwiel en de twee genoemde zijknoppen. Aan de onderkant van de behuizing zitten teflon-voetjes (PTFE) die contact maken met de ondergrond. Via de Logitech G Hub software op je pc pas je de instellingen van de DPI en de knoppen aan. De muis heeft een polling rate van 1000 Hz, wat betekent dat de positie duizend keer per seconde aan het systeem wordt doorgegeven.

Gewicht: 63 gram
Programmeerbare knoppen: 5
Sensor: 25.600 dpi

Razer DeathAdder V3

Razer DeathAdder V3 verbind je met je computer door middel van een vaste, gevlochten kabel met een USB-A-aansluiting. Deze muis heeft een asymmetrisch ontwerp dat specifiek is gevormd voor rechtshandig gebruik. Onder de linker- en rechtermuisknop zijn optische schakelaars geïnstalleerd die door middel van een lichtsignaal registreren wanneer je klikt. De interne Focus Pro 30K optische sensor ondersteunt resoluties tot maximaal 30.000 dpi.

Je bedient in totaal zes knoppen, waaronder een speciale knop aan de onderkant waarmee je schakelt tussen verschillende, vooraf ingestelde DPI-profielen zonder dat je de software hoeft te openen. Verder ondersteunt het model een maximale polling rate van 8000 Hz. Dit houdt in dat de muis vaker per seconde gegevens naar je Windows-pc stuurt dan standaardmodellen. Het gewicht van de behuizing bedraagt 59 gram. Om de functies van de knoppen toe te wijzen of macro's in te stellen, gebruik je de Razer Synapse 3-software. Je slaat deze instellingen vervolgens direct op in het ingebouwde geheugen van het invoerapparaat, zodat ze behouden blijven als je hem op een ander systeem aansluit.

Gewicht: 59 gram
Programmeerbare knoppen: 6
Sensor: 30.000 dpi

SteelSeries Rival 5

SteelSeries Rival 5 beschikt over negen afzonderlijk programmeerbare knoppen. Aan de linkerzijde van de behuizing vind je naast de reguliere knoppen ook een tuimelschakelaar die je zowel omhoog als omlaag kunt bewegen, plus een extra knop aan de voorkant van het duimgedeelte. Het apparaat is ontworpen voor rechtshandigen en weegt 85 gram. De registratie van je bewegingen gebeurt via een TrueMove Air optische sensor.

Deze sensor heeft een maximaal bereik van 18.000 dpi en een registratiesnelheid van 400 IPS. Je sluit het apparaat aan op een vrije USB-poort van je Windows-systeem via de vaste, met microvezel beklede kabel. De behuizing bevat tien verlichtingszones die onafhankelijk van elkaar in te stellen zijn via de SteelSeries GG-software. In deze applicatie pas je ook de CPI-waarden en de toewijzing van de negen knoppen aan. De hoofdschakelaars onder de muisknoppen zijn ontworpen met een IP54-certificering, wat inhoudt dat ze afgeschermd zijn tegen de invoer van stof en opspattend water. Er zijn grote glijders van PTFE op de onderkant gemonteerd voor de verplaatsing over een muismat.

Gewicht: 85 gram
Programmeerbare knoppen: 9
Sensor: 18.000 dpi

Corsair M65 RGB Ultra

Corsair M65 RGB Ultra is opgebouwd rondom een frame van geanodiseerd aluminium. Aan de onderkant van dit frame bevinden zich drie uitsparingen waar je meegeleverde gewichtjes in kunt plaatsen. Hiermee verander je het standaardgewicht van 97 gram naar maximaal 115 gram en pas je het zwaartepunt van het apparaat aan. Een opvallend kenmerk aan de linkerzijkant is de zogeheten 'sniper-knop'. Wanneer je deze ingedrukt houdt, verlaagt de muis tijdelijk de DPI-waarde, wat de cursorbeweging in Windows vertraagt.

In totaal zijn er acht programmeerbare knoppen aanwezig. De optische Marksman-sensor registreert bewegingen tot een instelbaar maximum van 26.000 dpi. De verbinding verloopt via een vaste USB-kabel en het apparaat maakt gebruik van AXON-technologie. Deze technologie maakt een polling rate tot 8000 Hz mogelijk. Binnenin is een zes-assige gyroscoop en versnellingsmeter ingebouwd. Met deze sensoren meet het apparaat de fysieke kanteling, waardoor je via de iCUE-software acties kunt koppelen aan het optillen of scheefhouden van de muis.

Gewicht: 97 gram / aanpasbaar tot 115 gram
Programmeerbare knoppen: 8
Sensor: 26.000 dpi

Glorious Model O 2 Wired

Glorious Model O 2 Wired heeft een gesloten voorkant, maar is op de handpalmsteun en de onderzijde voorzien van uitsparingen in een honingraatpatroon. Door deze fysieke structuur te gebruiken, is het totale gewicht van de behuizing op 59 gram gehouden. Aan de voorzijde bevindt zich een vaste, flexibele kabel met een standaard USB-A-stekker voor in je pc. Het apparaat maakt gebruik van een BAMF 2.0 optische sensor. Je past de resolutie van deze sensor handmatig aan tot een bovengrens van 26.000 dpi, waarbij snelheden tot 650 IPS worden geregistreerd.

De linker- en rechtermuisknop zijn voorzien van mechanische schakelaars. Bovenop de muis, direct achter het scrollwiel, bevindt zich een knop waarmee je stapsgewijs de DPI-waarde wijzigt. De actuele stand lees je af aan een indicator aan de onderkant. Via de Glorious Core-software pas je in Windows zaken aan zoals de 'lift-off distance', de polling rate (tot 1000 Hz) en de reactietijd van de knoppen. Er zijn in totaal zes knoppen in de behuizing verwerkt.

Gewicht: 59 gram
Programmeerbare knoppen: 6
Sensor: 26.000 dpi

Microsoft Gaming-ceo Phil Spencer en Xbox-directeur Sarah Bond vertrekken bij het Amerikaanse bedrijf.

Dat hebben verschillende media vernomen, en Spencer zelf heeft het inmiddels ook bevestigd via social media. Daarbij publiceerde IGN ook interne e-mails van Microsoft's ceo Satya Nadella, de te vertrekken Spencer en de nieuwe Microsoft Gaming-ceo Asha Sharma en Matt Booty.

Naar verwachting vertrekt Spencer, die bijna veertig jaar bij Microsoft werkzaam was, aanstaande maandag. Xbox-president Sarah Bond - waarvan voorheen werd gedacht dat ze Spencer uiteindelijk zou vervangen - gaat ook weg. Asha Sharma is op dit moment nog de president van Microsofts CoreAI en gaat dus Microsoft Gaming bestieren. Matt Booty, het hoofd van Xbox Game Studios, wordt gepromoot naar chief content officer en zal nauw samenwerken met Sharma.

"Afgelopen najaar deelde ik met Satya dat ik nadacht over mijn vertrek en het beginnen aan het volgende hoofdstuk van mijn leven", zo stelt Spencer in zijn e-mail. "Vanaf dat moment gingen we aan de slag met onze aanpak, met het oog op het behoud van stabiliteit en het versterken van de fundering die we hebben gebouwd. Xbox is altijd meer dan een bedrijf geweest. Het is een levendige gemeenschap bestaande uit spelers, makers en teams die erg veel geven om wat we bouwen en hoe we dat doen. Het verdient een goed doordacht plan voor de toekomst."

"Ik wil Phil bedanken voor zijn uitzonderlijke leiderschap en samenwerking", aldus Nadella in zijn e-mail naar werknemers. "In meer dan 38 jaar bij Microsoft, waaronder 12 jaar aan het hoofd van de gamedivisie, heeft Phil geholpen met het transformeren van wat we doen en hoe we dat doen."

De nieuwe Microsoft Gaming-ceo aan het woord

Sharma, de nieuwe ceo van Microsoft Gaming, meldt in haar e-mail: "Mijn eerste taak is simpel: begrijpen hoe dit werkt en het vervolgens beschermen. Dat begint bij drie verplichtingen. Ten eerste geweldige games - daar begint alles mee. We moeten geweldige games hebben die door onze spelers geliefd worden." Vervolgens vertelt Sharma over het belang van onvergetelijke personages, de macht geven aan ontwikkelstudio's en iconische franchises.

"Ten tweede: de terugkeer van Xbox. We verbinden ons opnieuw aan onze trouwe Xbox-fans en -spelers, die de afgelopen 25 jaar in ons hebben geïnvesteerd, en de ontwikkelaars waar we de uitgebreide universa en ervaringen die onze spelers wereldwijd omarmen mee hebben gebouwd. We zullen onze afkomst eren met een vernieuwde inzet voor Xbox, te beginnen bij de console, die heeft gevormd wie we zijn." Sharma benadrukt daarbij dat games tegenwoordig op meerdere apparaten te vinden zijn, en spreekt uit dat Microsoft zich niet wil limiteren aan één apparaat. "Terwijl we uitbreiden op pc, mobiel en cloud, moet Xbox naadloos, onmiddellijk en waardig voor de gemeenschappen die we serveren voelen."

Het derde punt van Sharma is "de toekomst van spelen. We nemen de heruitvinding van spelen waar. Daarom zullen we investeren in nieuwe zakenmodellen en nieuwe manieren om te spelen door gebruik te maken van wat we al hebben: iconische teams, personages en werelden waar mensen van houden. Maar we zullen die werelden niet behandelen als statische IP om uit te melken en geld uit te onttrekken. We bouwen een gedeeld platform en gereedschappen die ontwikkelaars en spelers de macht geven om hun eigen verhalen te creëren en delen."

Over Spencer en de staat van Xbox

Phil Spencer werd in 2014 hoofd van Xbox, toen hij de opdracht had Xbox One van een gebrekkige release het jaar ervoor te redden. Tijdens die consolegeneratie werd onder andere het populaire Xbox Game Pass gelanceerd. Dankzij onder andere die service en zijn veelvuldige interviews werd hij al snel populair onder gamers.

Na de Xbox Series X en S-release in 2020 begon de mening over Spencer om te slaan, vooral gevoed door de veranderingen rondom Xbox als merk. Sinds enkele jaren komen de spellen van Xbox-ontwikkelaar zelfs vaak ook op andere platforms uit - bijvoorbeeld op PlayStation 5 en Nintendo Switch. Tegelijkertijd loopt de verkoop van de huidige Xbox Series X en S-consoles flink terug. Spencer zelf verscheen de afgelopen jaren steeds minder vaak in interviews, en ook de vele ontslagrondes en studiosluitingen binnen de Xbox-divisie zorgden voor reputatieschade.

Tegelijkertijd werden onder Spencers leiding grote aankopen als Bethesda en Activision Blizzard gedaan, bekend van gamefranchises als The Elder Scrolls, Fallout en Call of Duty.

Microsoft heeft eerder laten weten aan een nieuwe console te werken, die de grenzen tussen consoles en pc moet vervagen. Voor zover bekend wordt dit een apparaat die in feite pc-games af gaat spelen, alsmede Xbox-games, en waarop verschillende digitale pc-winkels bereikbaar zullen zijn - en dus niet alleen die van Microsoft zelf.

Het vertrek van twee belangrijke kopstukken binnen Microsofts gamedivisie is opvallend, zeker in combinatie met het feit dat de gametak van het bedrijf schijnbaar in een transitieperiode zit. Ook het feit dat de nieuwe ceo van Microsoft Gaming van CoreAI afkomt, houdt de gemoederen onder gamers bezig. Microsoft zet groots in op kunstmatige intelligentie, maar onder gamers heerst vooral onvrede over de invloed die AI tegenwoordig heeft op hun hobby. Sharma benadrukte in haar interne e-mail echter dat Xbox zich niet gaat richten op "zielloze AI-slop".