ID.nl logo
Verkiezingen: AI-chatbots neigen naar links en zijn inconsistent, zegt TNO
© AK | ID.nl
Huis

Verkiezingen: AI-chatbots neigen naar links en zijn inconsistent, zegt TNO

Taalmodellen als ChatGPT zijn razendsnel populair geworden. Ze helpen mensen bij veel leeswerk, zoals het samenvatten zoals de verschillende standpunten van onze nationale politieke partijen. Maar hoe betrouwbaar en onbevooroordeeld zijn ze? TNO en Kieskompas hebben een experiment uitgevoerd om dat uit te zoeken.

In het experiment lieten TNO en Kieskompas verschillende taalmodellen de vragen van de stemhulp van het Kieskompas 2023 meerdere malen beantwoorden. De modellen blijken niet helemaal onbevooroordeeld: ze komen uit aan de linkerkant van het politieke spectrum. Daarnaast geven ze niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag.

Welke AI-modellen zijn onderzocht?

Aan de hand van populariteit, beschikbaarheid, toegankelijkheid en herkomst zijn zijn de volgende vijf generatieve AI-taalmodellen geselecteerd: Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is geprepareerd voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Hoe ging het experiment in zijn werk?

Modellen kunnen naast direct een vraag beantwoorden ook gebruik maken van context. Wanneer er context wordt toegevoegd, geeft dat de modellen een indicatie hoe de gebruiker de antwoorden graag wil terugzien, waardoor er soms beter resultaat teruggegeven wordt. Vandaar dat elk model getoetst is mét en zonder contextuele toevoegingen. Ze begrijpen bijvoorbeeld beter wat voor antwoord er van ze verwacht worden als ze al een voorbeeld gehad hebben van een vraag met een antwoord dat binnen de keuzemogelijkheid van het Kieskompas valt (‘Helemaal mee eens’, ‘Mee eens’, ‘Neutraal’, ‘Niet mee eens’, ‘Helemaal niet mee eens’ en ‘Geen mening’).

De antwoorden zijn door Kieskompas vertaald in coördinaten die TNO over het politiek landschap van Nederland heeft gelegd.

©Kieskompas/TNO

Figuur 1: Resultaat van alle getoetste modellen op het Nederlands Politiek Landschap (een enkel puntje betekent dit dat het model op elke stelling bij 10 pogingen 10 keer hetzelfde antwoord gaf).

©Kieskompas/TNO

Figuur 2: Resultaat van alle getoetste modellen zonder context. Een enkel puntje betekent dit dat het model op elke stelling bij 10 pogingen 10 keer hetzelfde antwoord gaf).

Resultaten: wisselvalig en niet neutraal

Wat opvalt aan de resultaten is dat de modellen heel wisselvallig zijn ( te zien aan de ingekleurde vlakken) en ook dat de modellen met name links georiënteerd zijn (zie figuren 1 en 2). Handmatige analyse liet zien dat OpenAI’s GPT modellen zeer snel bereid zijn om antwoord te geven op de stellingen.

Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag. Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft het wel zijn mening (zoals ook te zien hieronder).

TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden. Bovendien zijn de modellen van OpenAI consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.

©Kieskompas/TNO

Voorbeeld van het effect van context (modellen kregen allen dezelfde voorbeeldvraag) bij het antwoord van AI-taalmodel Falcon op een vraag van Kieskompas. Klik voor een grotere afbeelding.

Modellen zijn ondoorzichtig

Doordat niet transparant is hoe de modellen getraind zijn, is het niet te zeggen of een model in een andere context een hele andere mening kan geven. Het is dus onmogelijk om te achterhalen waarom het model tot bepaalde antwoorden komt.

Dat taalmodellen vooringenomenheid en inconsistentie vertonen lijkt misschien onschuldig, maar het kan grote gevolgen hebben. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

GPT-NL: een Nederlands taalmodel

Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit. TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.

▼ Volgende artikel
Deze acteur gaat Atreus in de God of War-televisieserie spelen
Huis

Deze acteur gaat Atreus in de God of War-televisieserie spelen

De acteur die de belangrijke rol van Atreus gaat vertolken in de aankomende televisieserie gebaseerd op God of War is bekend. Het gaat om Callum Vinson.

Vinson heeft eerder rollen in The Night Agent en Chucky gehad. Met de bevestiging dat hij de rol van Atreus gaat spelen, zijn de acteurs voor de meeste belangrijke rollen in de aankomende Amazon Prime Video-serie bekend.

Afgelopen januari werd al onthuld wie de rol van hoofdpersonage Kratos gaat spelen. Dat is Ryan Hurst, bekend voor zijn rol in Sons of Anarchy. In de game God of War Ragnarök speelde hij daarnaast de rol van Thor. In de tv-serie zal hij dus van rol wisselen.

God of War volgt vader Kratos en zijn tienjarige zoon Atreus op hun reis om het as van hun vrouw en moeder Faye te verspreiden. Gedurende hun avonturen probeert Kratos zijn zoon te leren om een betere god te zijn, terwijl Atreus probeert van zijn vader een beter mens te maken.

View post on X

Over de God of War-televisieserie

De tv-serie gaat in ieder geval de laatste twee hoofddelen in de God of War-reeks verfilmen, God of War (2018) en God of War Ragnarök. Die games, uitgekomen op PlayStation 4, PlayStation 5 en later ook pc, wisselden de Griekse setting uit de vroegere delen in voor een Noordse mythologische setting, inclusief de aanwezigheid van Noordse goden.

Sony en Amazon kondigden in 2022 aan dat er een tv-serie rondom God of War zou komen. Afgelopen jaar werd ook bekendgemaakt dat er minstens twee seizoenen gemaakt zullen worden. Voordat het zover is, moet natuurlijk het eerste seizoen uitkomen op Amazon Prime Video, maar dat kan nog wel even duren: de opnames gaan als het goed is in de loop van deze maand van start. Frederick E.O. Toye, bekend van onder andere The Boys en Fallout, zal de eerste twee afleveringen regisseren.

Andere acteurs in de serie

Eerder werd al bevestigd dat Max Parker - bekend van Boots en Vampire Academy - de rol van Heimdall gaat spelen en Teresa Palmer (Hacksaw Ridge) in de huid van Sif - Thors vrouw - kruipt. De rol van Odin wordt gespeeld door Mandy Patinkin - onder andere bekend van Homeland en the Princess Bride.

Ólafur Darri Ólafsson - die vooral bekend is voor zijn rol als Mr. Drummond in de Apple TV-serie Severance, gaat de rol van Thor vertolken. Alastair Duncan zal de rol van Mimir spelen. Hij speelde ook al de rol van Mimir in de God of War-games. Danny Woodburn en Jeff Gulka zullen de rollen van de broers Brok en Sindri vertolken.

▼ Volgende artikel
Grote Monster Hunter Wilds-uitbreiding wordt aankomende zomer onthuld
Huis

Grote Monster Hunter Wilds-uitbreiding wordt aankomende zomer onthuld

Capcom gaat in de loop van aankomende zomer een grote nieuwe uitbreiding voor het vorig jaar uitgekomen Monster Hunter Wilds onthullen.

Dat liet Ryozo Tsujimooto, de producent van de Monster Hunter-franchise weten in een video waarin het eenjarige bestaan van de game werd gevierd. De video kan hieronder worden bekeken.

De inhoud van de aankomende uitbreiding werd nog niet bekendgemaakt, maar Tsujimoto liet weten dat de uitbreiding vergelijkbaar wordt met Iceborne, een uitbreiding voor voorganger Monster Hunter Worlds. In die dlc zaten nieuwe gebieden, monsters, spelmechanismen en verhalende content. "We zijn van plan om aankomende zomer meer informatie te delen, dus kijk daar naar uit."

Watch on YouTube

Nog meer Monster Hunter Wilds-content

Voordat het zover is hebben Monster Hunter Wilds-spelers genoeg andere nieuwe content om naar uit te kijken. Zo zal op 18 februari update 1.041 uitkomen, met daarin Arch Tempered-monsters van tien sterren, unieke Event Quests en een samenwerking met Monster Hunter Stories 3: Twisted Reflection, een losstaande Monster Hunter-game die op 13 maart uitkomt.

Monster Hunter Wild verscheen in februari 2025 voor PlayStation 5, Xbox Series-consoles en pc. De game draait net als voorgaande spellen in de reeks op het jagen op grote monsters. Spelers ontvangen na het verslaan van een monster nieuwe materialen, waarmee ze hun uitrusting sterker kunnen maken en vervolgens het kunnen opnemen tegen nog sterkere monsters.

Uniek ten opzichte van eerdere delen is dat de graphics en bijbehorende details die in de spelwereld en monsters zijn te zien flink zijn toegenomen. Daarnaast is het voor spelers nu mogelijk om twee wapens tegelijkertijd met zich te dragen op een mount, waardoor men beter voorbereid is voor gevechten.

Watch on YouTube