Taalmodellen als ChatGPT zijn razendsnel populair geworden. Ze helpen mensen bij veel leeswerk, zoals het samenvatten zoals de verschillende standpunten van onze nationale politieke partijen. Maar hoe betrouwbaar en onbevooroordeeld zijn ze? TNO en Kieskompas hebben een experiment uitgevoerd om dat uit te zoeken.

In het experiment lieten TNO en Kieskompas verschillende taalmodellen de vragen van de stemhulp van het Kieskompas 2023 meerdere malen beantwoorden. De modellen blijken niet helemaal onbevooroordeeld: ze komen uit aan de linkerkant van het politieke spectrum. Daarnaast geven ze niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag.

Welke AI-modellen zijn onderzocht?

Aan de hand van populariteit, beschikbaarheid, toegankelijkheid en herkomst zijn zijn de volgende vijf generatieve AI-taalmodellen geselecteerd: Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is geprepareerd voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Hoe ging het experiment in zijn werk?

Modellen kunnen naast direct een vraag beantwoorden ook gebruik maken van context. Wanneer er context wordt toegevoegd, geeft dat de modellen een indicatie hoe de gebruiker de antwoorden graag wil terugzien, waardoor er soms beter resultaat teruggegeven wordt. Vandaar dat elk model getoetst is mét en zonder contextuele toevoegingen. Ze begrijpen bijvoorbeeld beter wat voor antwoord er van ze verwacht worden als ze al een voorbeeld gehad hebben van een vraag met een antwoord dat binnen de keuzemogelijkheid van het Kieskompas valt (‘Helemaal mee eens’, ‘Mee eens’, ‘Neutraal’, ‘Niet mee eens’, ‘Helemaal niet mee eens’ en ‘Geen mening’).

De antwoorden zijn door Kieskompas vertaald in coördinaten die TNO over het politiek landschap van Nederland heeft gelegd.

©Kieskompas/TNO

©Kieskompas/TNO

Resultaten: wisselvalig en niet neutraal

Wat opvalt aan de resultaten is dat de modellen heel wisselvallig zijn ( te zien aan de ingekleurde vlakken) en ook dat de modellen met name links georiënteerd zijn (zie figuren 1 en 2). Handmatige analyse liet zien dat OpenAI’s GPT modellen zeer snel bereid zijn om antwoord te geven op de stellingen.

Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag. Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft het wel zijn mening (zoals ook te zien hieronder).

TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden. Bovendien zijn de modellen van OpenAI consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.

©Kieskompas/TNO

Modellen zijn ondoorzichtig

Doordat niet transparant is hoe de modellen getraind zijn, is het niet te zeggen of een model in een andere context een hele andere mening kan geven. Het is dus onmogelijk om te achterhalen waarom het model tot bepaalde antwoorden komt.

Dat taalmodellen vooringenomenheid en inconsistentie vertonen lijkt misschien onschuldig, maar het kan grote gevolgen hebben. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

GPT-NL: een Nederlands taalmodel

Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit. TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.

In de rubriek Waar voor je geld gaan we op zoek naar producten waar je niet de hoofdprijs voor betaalt of die zijn voorzien van bijzondere functies. Een paar keer per week maken we een overzicht van zulke producten. Dit keer: combimagnetrons voor minder dan 200 euro.

Een combimagnetron is een veelzijdig keukenapparaat dat meerdere bereidingswijzen in één toestel combineert, vandaar 'combi'. Waar een gewone magnetron vooral geschikt is voor het opwarmen en ontdooien van eten, kan een combimagnetron veel meer. Je kunt er niet alleen mee magnetronnen, maar ook bakken, grillen en vaak zelfs volledig ovenfuncties gebruiken, zoals hetelucht. Daardoor vervangt een combimagnetron in veel keukens zowel een losse magnetron als een traditionele oven. Wij vonden op kieskeurig.nl vijf combimagnetrons voor minder dan 200 euro.

Samsung MC28H5015CS

Met deze Samsung haal je een stijlvolle keukenhulp in huis die veel meer kan dan alleen opwarmen. Je hebt de beschikking over een ruime inhoud van 28 liter, waardoor ook grotere ovenschalen erin passen. Het draaiplateau kun je stilzetten, wat handig is als je vierkante borden gebruikt die anders tegen de randen zouden stoten. De binnenkant is voorzien van een keramische emaille laag, waardoor vet en vuil nauwelijks hechten en je hem met een doekje zo weer schoon hebt. Dankzij de diverse automatische programma's hoef je niet zelf te gokken hoe lang je groenten of vlees moet garen.

Specificaties:
Inhoud: 28 Liter
Vermogen: 100 - 900 Watt (6 standen)
Maximum temperatuur: 200 °C
Aantal kookprogramma's: 15

Sharp R-843INW

Deze Sharp is een compacte krachtpatser die perfect is voor kleinere keukens. Je bedient hem eenvoudig via het duidelijke digitale display en de draaiknop. Naast de standaard magnetronfunctie beschikt hij over een krachtige grill en een heteluchtoven die tot 230 graden gaat, wat hoog is voor deze prijsklasse. De zogeheten dubbele grill-functie zorgt ervoor dat je gerechten zowel van boven als onderen knapperig worden. Een leuke extra is de speciale pizza-stand, waarmee je diepvriespizza's net dat beetje extra krokantheid geeft.

Specificaties:
Inhoud: 25 Liter
Vermogen: 90 - 900 Watt (5 standen)
Maximum temperatuur: 230 °C
Aantal kookprogramma's: 10

Tomado TMC2302B

Met de TMC2302B haal je een veelzijdig apparaat in huis dat ondanks zijn compacte formaat van 23 liter toch over uitgebreide functies beschikt. Je bedient de combimagnetron eenvoudig via de draaiknop en de druktoetsen onder het digitale display. Naast de standaard magnetronfunctie kun je gebruikmaken van de heteluchtoven en de grill, of een combinatie hiervan om gerechten sneller te bereiden met een krokant resultaat. Er zijn 10 automatische kookprogramma's ingebouwd, zodat je voor veelvoorkomende gerechten zoals pizza of aardappelen niet zelf de tijd en temperatuur hoeft te bedenken. Het draaiplateau zorgt voor een gelijkmatige verwarming van je eten en de binnenverlichting springt automatisch aan zodra je de deur opent. Mocht je kleine kinderen in huis hebben, dan kun je het bedieningspaneel vergrendelen met het kinderslot.

Specificaties:
Inhoud: 23 Liter
Vermogen: 90 - 900 Watt (5 standen)
Maximum temperatuur: 200 °C
Aantal kookprogramma's: 10

Etna CMV328ZT

Deze Etna valt op door zijn strakke zwarte design dat in bijna elke moderne keuken past. Je bedient hem met druktoetsen en een draaiknop, wat de bediening intuïtief maakt. Hij heeft een inhoud van 28 liter en combineert magnetron, grill en hetelucht. Een handige feature is de ontdooifunctie op gewicht: je voert in hoeveel gram vlees je hebt en deze magnetron berekent zelf de tijd. De ovenfunctie gaat tot 230 graden, waardoor je er ook prima een cake of lasagne in kunt bereiden.

Specificaties:
Inhoud: 28 Liter
Vermogen: 90 - 900 Watt (5 standen)
Maximum temperatuur: 230 °C
Aantal kookprogramma's: 10

Inventum MN297CB

Inventum staat bekend om degelijke apparatuur en dat zie je terug in dit model. Je hebt de keuze uit diverse kookprogramma's die het leven makkelijker maken. De combinatie van magnetron en hetelucht zorgt ervoor dat je gerechten snel gaar zijn maar toch die lekkere oven-structuur behouden. Het apparaat wordt geleverd met een draaiplateau en een grillrooster, zodat je direct aan de slag kunt met grillen. De timer is digitaal in te stellen tot 95 minuten, wat lang genoeg is voor de meeste ovengerechten.

Specificaties:Inhoud: 29 Liter
Vermogen: 100 - 1000 Watt (5 standen)
Maximum temperatuur: 240 °C
Aantal kookprogramma's: 10

Een terminaal zieke fan van de Grand Theft Auto-reeks heeft mogelijk de kans gekregen om Grand Theft Auto 6 al ruim voor release te spelen.

Ubisoft Toronto-ontwikkelaar Anthony Armstrong plaatste in december een inmiddels verwijderd bericht op LinkedIn. Daarin viel te lezen dat een familielid van hem al jaren tegen kanker streed, en dat de persoon in kwestie nog maar een halfjaar tot jaar te leven had.

'Geweldig nieuws'

In het bericht verduidelijkte Armstrong dat het familielid in kwestie een enorme fan van de Grand Theft Auto-reeks is, en dat het er naar uitzag dat de persoon niet het nieuwste deel in de reeks zou kunnen spelen, dat pas op 19 november uitkomt. Armstrong sprak dan ook de wens uit dat GTA-ontwikkelaar Rockstar Games het op een of andere manier mogelijk zou kunnen maken om de zieke fan alvast GTA 6 te laten spelen.

Enkele weken later gaf Armstrong een update: de ceo van Take-Two Interactive - de uitgever van de GTA-spellen - had contact opgenomen en alleen ontwikkelaar Rockstar moest nog laten weten wat er mogelijk was. In een laatste update voordat het hele bericht werd verwijderd, liet Armstrong weten dat contact met Rockstar inmiddels was gelegd en dat er "geweldig nieuws" uit kwam.

Het lijkt er dus op dat Rockstar Games de terminaal zieke fan tegemoet kwam en hem alvast Grand Theft Auto 6 liet spelen. Het is niet voor het eerst dat de ontwikkelaar iets dergelijks mogelijk maakt: in 2018 mocht een terminaal zieke fan al aan de slag met Rockstars Red Dead Redemption 2, dat een paar weken later pas uit zou komen.

Over Grand Theft Auto 6

De rest van de wereld moet in ieder geval nog tot 19 november wachten tot men met Grand Theft Auto 6 aan de slag kan op PlayStation 5 en Xbox Series X en S. De game draait om twee hoofdpersonages: Lucia Caminos en Jason Duval. Het duo heeft een relatie, en duidelijk is in ieder geval dat Lucia vrijkomt uit de gevangenis en het tweetal vervolgens nog verder het criminele pad op gaat.

De game speelt zich af in Vice City, een fictieve versie van Miami, en omstreken. Dat betekent dat spelers glooiende stranden en met neon verlichte straten kunnen verwachten. Het was ook al de setting van de PlayStation 2-game Grand Theft Auto: Vice City, dat na GTA 3 uitkomt. Naar verwachting zal Grand Theft Auto 6 een ongekende hoeveelheid details vertonen. Lees hier alles over de game.