Taalmodellen als ChatGPT zijn razendsnel populair geworden. Ze helpen mensen bij veel leeswerk, zoals het samenvatten zoals de verschillende standpunten van onze nationale politieke partijen. Maar hoe betrouwbaar en onbevooroordeeld zijn ze? TNO en Kieskompas hebben een experiment uitgevoerd om dat uit te zoeken.

In het experiment lieten TNO en Kieskompas verschillende taalmodellen de vragen van de stemhulp van het Kieskompas 2023 meerdere malen beantwoorden. De modellen blijken niet helemaal onbevooroordeeld: ze komen uit aan de linkerkant van het politieke spectrum. Daarnaast geven ze niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag.

Welke AI-modellen zijn onderzocht?

Aan de hand van populariteit, beschikbaarheid, toegankelijkheid en herkomst zijn zijn de volgende vijf generatieve AI-taalmodellen geselecteerd: Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is geprepareerd voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Hoe ging het experiment in zijn werk?

Modellen kunnen naast direct een vraag beantwoorden ook gebruik maken van context. Wanneer er context wordt toegevoegd, geeft dat de modellen een indicatie hoe de gebruiker de antwoorden graag wil terugzien, waardoor er soms beter resultaat teruggegeven wordt. Vandaar dat elk model getoetst is mét en zonder contextuele toevoegingen. Ze begrijpen bijvoorbeeld beter wat voor antwoord er van ze verwacht worden als ze al een voorbeeld gehad hebben van een vraag met een antwoord dat binnen de keuzemogelijkheid van het Kieskompas valt (‘Helemaal mee eens’, ‘Mee eens’, ‘Neutraal’, ‘Niet mee eens’, ‘Helemaal niet mee eens’ en ‘Geen mening’).

De antwoorden zijn door Kieskompas vertaald in coördinaten die TNO over het politiek landschap van Nederland heeft gelegd.

©Kieskompas/TNO

©Kieskompas/TNO

Resultaten: wisselvalig en niet neutraal

Wat opvalt aan de resultaten is dat de modellen heel wisselvallig zijn ( te zien aan de ingekleurde vlakken) en ook dat de modellen met name links georiënteerd zijn (zie figuren 1 en 2). Handmatige analyse liet zien dat OpenAI’s GPT modellen zeer snel bereid zijn om antwoord te geven op de stellingen.

Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag. Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft het wel zijn mening (zoals ook te zien hieronder).

TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden. Bovendien zijn de modellen van OpenAI consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.

©Kieskompas/TNO

Modellen zijn ondoorzichtig

Doordat niet transparant is hoe de modellen getraind zijn, is het niet te zeggen of een model in een andere context een hele andere mening kan geven. Het is dus onmogelijk om te achterhalen waarom het model tot bepaalde antwoorden komt.

Dat taalmodellen vooringenomenheid en inconsistentie vertonen lijkt misschien onschuldig, maar het kan grote gevolgen hebben. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

GPT-NL: een Nederlands taalmodel

Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit. TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.

Er is een korte nieuwe trailer uitgekomen van de aankomende animatiefilm The Super Mario Galaxy Movie.

In de 30 seconden durende spot heeft Yoshi wederom een prominente rol - in de vorige Mario-animatiefilm ontbrak dit personage nog. Er zitten ook een aantal beelden in die al in vorige trailers van de film voorbij kwamen, maar ook compleet nieuwe beelden - waaronder Princes Peach en Toad in een relatief futuristisch ogende omgeving.

Over The Super Mario Galaxy Movie

Nadat enkele jaren geleden de uiterst succesvolle animatiefilm The Super Mario Bros. Movie uitkwam - logischerwijs gebaseerd op de langlopende Mario-reeks van Nintendo - werkt het bedrijf samen met Illumination al enige tijd aan het vervolg, The Super Mario Galaxy Movie.

Net zoals The Super Mario Bros. Movie lijkt ook het vervolg elementen uit allerlei verschillende Mario-games te pakken, al gebruikt deze nieuwe film de insteek van de twee Super Mario Galaxy-games, waarin Mario het universum afreist.

Diverse acteurs uit de eerste film keren terug in dit vervolg. Mario en Luigi worden wederom ingesproken door Chris Pratt en Charlie Day, en Jack Black vertolkt wederom de stem van Bowser. Ook acteurs als Keegan-Michael Key en Anya Taylor-Joy keren terug. De stem van Bowser Jr. zal in deze film ingesproken worden door Benny Safdie - vooral bekend voor zijn regiewerk - en het personage Rosalina krijgt een stem via Oscar-winnares Brie Larson.

The Super Mario Galaxy Movie gaat wereldwijd - op sommige markten na - op 1 april dit jaar in première.

Nintendo-films

Nintendo zet steeds meer in op het uitbrengen van films gebaseerd op IP van het bedrijf. Naast deze Mario-films werkt Nintendo ook aan een live-action verfilming van The Legend of Zelda-reeks, die in 2027 in de bioscoop zal draaien en daarna naar Netflix komt. Volgens geruchten gaat het bedrijf ook werken aan een spin-off-animatiefilm rondom Donkey Kong, die in de Mario-films wordt ingesproken door Seth Rogen.

Nintendo gaf onlangs in een gesprek met investeerders aan dat ze de verfilmingen niet maken om op korte termijn winst te maken, maar om de franchises van het bedrijf bij een nog groter publiek vanzelfsprekend te maken - wat op de lange termijn de games van het bedrijf nog populairder moet maken.

Wat Netflix betreft hebben consumenten die Netflix na de overname van Warner Bros. (en dus HBO Max) te duur vinden worden een simpele oplossing: hun abonnement opzeggen.

Netflix en Warner Bros. hebben vorig jaar een overeenkomst gesloten waarbij eerstgenoemde streamingbedrijf het filmproductiebedrijf overneemt. Als dit allemaal doorgaat, zal Netflix dus niet alleen de films van Warner Bros. in handen krijgen, maar ook concurrerende streamingdienst HBO Max, dat van Warner Bros. is.

Onder sommige abonnees bestaat dan ook de angst dat een Netflix-abonnement veel duurder gaat worden, bijvoorbeeld wanneer er Warner Bros.-films die nog maar net uit zijn in de bioscoop op zullen verschijnen, of als HBO Max eventueel met Netflix wordt samengevoegd.

Die angst bestaat ook bij Amerikaanse waakhonden die controleren of de overname wel door kan gaan, en in een verhoor van de senaat onlangs werd een van Netflix' ceo's, Ted Sarandos, daarover aan de tand gevoeld.

Eén klik

Aldus Sarandos: "Netflix en Warner Bros. hebben beiden streamingdiensten, maar ze complementeren elkaar enorm. Sterker nog: 80% van alle HBO Max-leden hebben ook een abonnement op Netflix. We zullen consumenten meer content voor minder geld geven."

Daarna werd gevraagd of Netflix hun abonnementen "betaalbaar" zou houden na de overname. Daarop had Sanandos een duidelijk antwoord: "Je kunt ons abonnement met één klik opzeggen. Als de consument het teveel geld vindt voor wat ze krijgen, kunnen ze hun abonnement met één klik opzeggen."

Klare taal dus, al wordt hieruit niet duidelijk of prijzen na de overname daadwerkelijk zullen stijgen. Het is ook mogelijk dat Netflix beide streamingdiensten gescheiden houdt, of dat het een allesomvattend abonnement voor beide streamingdiensten aan gaat bieden. Op moment van schrijven is dit niet bekend.