Taalmodellen als ChatGPT zijn razendsnel populair geworden. Ze helpen mensen bij veel leeswerk, zoals het samenvatten zoals de verschillende standpunten van onze nationale politieke partijen. Maar hoe betrouwbaar en onbevooroordeeld zijn ze? TNO en Kieskompas hebben een experiment uitgevoerd om dat uit te zoeken.

In het experiment lieten TNO en Kieskompas verschillende taalmodellen de vragen van de stemhulp van het Kieskompas 2023 meerdere malen beantwoorden. De modellen blijken niet helemaal onbevooroordeeld: ze komen uit aan de linkerkant van het politieke spectrum. Daarnaast geven ze niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag.

Welke AI-modellen zijn onderzocht?

Aan de hand van populariteit, beschikbaarheid, toegankelijkheid en herkomst zijn zijn de volgende vijf generatieve AI-taalmodellen geselecteerd: Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is geprepareerd voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Hoe ging het experiment in zijn werk?

Modellen kunnen naast direct een vraag beantwoorden ook gebruik maken van context. Wanneer er context wordt toegevoegd, geeft dat de modellen een indicatie hoe de gebruiker de antwoorden graag wil terugzien, waardoor er soms beter resultaat teruggegeven wordt. Vandaar dat elk model getoetst is mét en zonder contextuele toevoegingen. Ze begrijpen bijvoorbeeld beter wat voor antwoord er van ze verwacht worden als ze al een voorbeeld gehad hebben van een vraag met een antwoord dat binnen de keuzemogelijkheid van het Kieskompas valt (‘Helemaal mee eens’, ‘Mee eens’, ‘Neutraal’, ‘Niet mee eens’, ‘Helemaal niet mee eens’ en ‘Geen mening’).

De antwoorden zijn door Kieskompas vertaald in coördinaten die TNO over het politiek landschap van Nederland heeft gelegd.

©Kieskompas/TNO

©Kieskompas/TNO

Resultaten: wisselvalig en niet neutraal

Wat opvalt aan de resultaten is dat de modellen heel wisselvallig zijn ( te zien aan de ingekleurde vlakken) en ook dat de modellen met name links georiënteerd zijn (zie figuren 1 en 2). Handmatige analyse liet zien dat OpenAI’s GPT modellen zeer snel bereid zijn om antwoord te geven op de stellingen.

Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag. Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft het wel zijn mening (zoals ook te zien hieronder).

TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden. Bovendien zijn de modellen van OpenAI consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.

©Kieskompas/TNO

Modellen zijn ondoorzichtig

Doordat niet transparant is hoe de modellen getraind zijn, is het niet te zeggen of een model in een andere context een hele andere mening kan geven. Het is dus onmogelijk om te achterhalen waarom het model tot bepaalde antwoorden komt.

Dat taalmodellen vooringenomenheid en inconsistentie vertonen lijkt misschien onschuldig, maar het kan grote gevolgen hebben. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

GPT-NL: een Nederlands taalmodel

Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit. TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.

In navolging van eerdere berichtgeving heeft ook toonaangevende nieuwswebsite Bloomberg geopperd dat Sony overweegt om de PlayStation 6 intern uit te stellen.

In het artikel wordt gemeld dat Sony zou overwegen om de PlayStation 6 pas in 2028 of 2029 uit te brengen. Dit terwijl Sony zelf in eerste intentie zou hebben gemikt op 2027. "Sony Group Corp overweegt nu om de release van zijn volgende PlayStation-console uit te stellen naar 2028 of zelfs 2029."

Vorige maand claimde MST Financial-analist David Gibson ook al dat Sony de PlayStation 5-levenscyclus wil verlengen en de console pas ergens na 2028 uit te willen brengen. Sony zelf heeft echter nog niet op de geruchten gereageerd - het bedrijf heeft de PlayStation 6 nog niet eens officieel aangekondigd, laat staan een publiekelijke releasedatum genoemd.

Reden voor vertraging

Zoals gemeld zou de voornaamste reden voor een eventuele vertraging alsmaar stijgende prijzen voor en tekorten van geheugen zijn. Prijzen van RAM (Random Access Memory) stijgen alsmaar doordat er massaal RAM nodig is om het alsmaar populairder wordende AI werkende te houden. RAM is echter nodig in spelcomputers.

De theorie is dat bedrijven zoals Sony hun plannen voor nieuwe consoles uitstellen, omdat de prijzen voor RAM zo hoog liggen. Dat zou immers betekenen dat men ook hogere prijzen voor nieuwe consoles moet vragen, en dat zou eventueel een negatief effect op het succes van deze consoles kunnen hebben. Ook zouden tekorten aan RAM roet in het eten kunnen gooien.

Vooralsnog is echter nog niets bevestigd. Volgens eerdere geruchten wil Sony niet alleen de PlayStation 6 uitbrengen, maar ook een handheldversie om PS6- en PS5-games op te spelen. Zoals gezegd is de PS6 nog niet officieel aangekondigd, dus bevestigd is dit nog niet.

Onlangs schreven we een column over waarom het helemaal geen ramp hoeft te zijn dat de PlayStation 6 nog een aantal jaar op zich laat wachten.

Effecten op andere consoles

Overigens kan de situatie rondom RAM ook effect hebben op consoles van andere bedrijven. De prijzen van bestaande consoles gaan zo nu en dan ook omhoog - in plaats van dat ze omlaag gaan, zoals traditioneel gezien gebeurt - en volgens het Bloomberg-artikel overweegt Nintendo de prijs van de Switch 2 ook omhoog te gooien. Nintendo liet onlangs bij het bekendmaken van diens kwartaalcijfers al weten de RAM-situatie nauwlettend in de gaten te houden.

De Poolse ontwikkelaar heeft Layers of Fear 3 aangekondigd, een nieuw deel in diens horrorgamefranchise.

Bloober Team hintte al een tijdje naar een nieuwe aankondiging - er was geruime tijd een timer te zien die afliep naar Valentijnsdag afgelopen weekend. Die timer bleek dus voor Layers of Fear 3 te zijn.

Er is nog geen gameplay van het spel getoond, maar er werd wel een live-action teaserfilmpje online geplaatst waarin een man het gericht 'The Sick Rose' van William Blake voorleest. Meer info over de game werd niet gegeven.

In de eerste Layers of Fear-game uit 2016 besturen spelers een schilder die in een Victoriaans landhuis probeert zijn meesterwerk af te maken, terwijl het landhuis geheimen over zijn verleden onthult. Er kwam een vervolg uit, alsmede een remake uit 2023 die simpelweg 'Layers of Fear' heet en de verhalen van de eerste twee games combineert en nieuw materiaal toevoegt.

Bloober Team heeft de laatste jaren flink aan de weg getimmerd als leverancier van horrorspellen. Naast de Layers of Fear-games heeft het bedrijf ook de remake van Silent Hill 2 gemaakt, alsmede Cronos: The New Dawn, Blair Witch en The Medium. Het bedrijf werkt samen met Konami ook aan een remake van de eerste Silent Hill.