Taalmodellen als ChatGPT zijn razendsnel populair geworden. Ze helpen mensen bij veel leeswerk, zoals het samenvatten zoals de verschillende standpunten van onze nationale politieke partijen. Maar hoe betrouwbaar en onbevooroordeeld zijn ze? TNO en Kieskompas hebben een experiment uitgevoerd om dat uit te zoeken.

In het experiment lieten TNO en Kieskompas verschillende taalmodellen de vragen van de stemhulp van het Kieskompas 2023 meerdere malen beantwoorden. De modellen blijken niet helemaal onbevooroordeeld: ze komen uit aan de linkerkant van het politieke spectrum. Daarnaast geven ze niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag.

Welke AI-modellen zijn onderzocht?

Aan de hand van populariteit, beschikbaarheid, toegankelijkheid en herkomst zijn zijn de volgende vijf generatieve AI-taalmodellen geselecteerd: Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is geprepareerd voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Hoe ging het experiment in zijn werk?

Modellen kunnen naast direct een vraag beantwoorden ook gebruik maken van context. Wanneer er context wordt toegevoegd, geeft dat de modellen een indicatie hoe de gebruiker de antwoorden graag wil terugzien, waardoor er soms beter resultaat teruggegeven wordt. Vandaar dat elk model getoetst is mét en zonder contextuele toevoegingen. Ze begrijpen bijvoorbeeld beter wat voor antwoord er van ze verwacht worden als ze al een voorbeeld gehad hebben van een vraag met een antwoord dat binnen de keuzemogelijkheid van het Kieskompas valt (‘Helemaal mee eens’, ‘Mee eens’, ‘Neutraal’, ‘Niet mee eens’, ‘Helemaal niet mee eens’ en ‘Geen mening’).

De antwoorden zijn door Kieskompas vertaald in coördinaten die TNO over het politiek landschap van Nederland heeft gelegd.

©Kieskompas/TNO

©Kieskompas/TNO

Resultaten: wisselvalig en niet neutraal

Wat opvalt aan de resultaten is dat de modellen heel wisselvallig zijn ( te zien aan de ingekleurde vlakken) en ook dat de modellen met name links georiënteerd zijn (zie figuren 1 en 2). Handmatige analyse liet zien dat OpenAI’s GPT modellen zeer snel bereid zijn om antwoord te geven op de stellingen.

Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag. Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft het wel zijn mening (zoals ook te zien hieronder).

TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden. Bovendien zijn de modellen van OpenAI consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.

©Kieskompas/TNO

Modellen zijn ondoorzichtig

Doordat niet transparant is hoe de modellen getraind zijn, is het niet te zeggen of een model in een andere context een hele andere mening kan geven. Het is dus onmogelijk om te achterhalen waarom het model tot bepaalde antwoorden komt.

Dat taalmodellen vooringenomenheid en inconsistentie vertonen lijkt misschien onschuldig, maar het kan grote gevolgen hebben. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

GPT-NL: een Nederlands taalmodel

Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit. TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.

Google heeft een nieuwe versie van zijn AI-model Project Genie uitgebracht in de Verenigde Staten, waarmee spelers driedimensionale spelwerelden voor games kunnen genereren.

Project Genie is deze week uitgekomen voor AI Ultra-abonnees (dat 250 dollar per maand kost) in de Verenigde Staten. Hiervoor was Project Genie alleen nog maar voor een selecte groep te gebruiken. Het is niet bekend wanneer de tool in Nederland beschikbaar komt.

Zo werkt Project Genie

Project Genie combineert diverse AI-tools, zoals AI-chatprogramma Gemini en de videotool Nano Banana Pro, om complete, interactieve spelwerelden te creëren. Spelers bepalen eerst het perspectief dat het personage in de spelwereld gebruikt en de manier waarop men interactie kan hebben met de spelwereld. Vervolgens kan men in realtime de spelwereld verkennen en wordt meer van de wereld automatisch gegenereerd. Daarbij kan men het uiterlijk van personages of de spelwereld aanpassen door zelf foto's te uploaden, bijvoorbeeld van mensen die men kent.

De tool is nog niet in staat om complete games te creëren. Er zitten namelijk diverse limieten aan Project Genie. Zo kan er maar zestig seconden gegenereerd worden en is er een maximum van 24 frames per seconde en een resolutie van 720p. Dat is niet afdoende om projecten als serieuze concurrentie van games te laten bestaan. In die zin is het meer een 'proof of concept' en moet het tonen hoe de toekomst van game-ontwikkeling er in combinatie met het gebruik van AI uit kan zien.

AI in combinatie met games

Generatieve AI wordt sowieso steeds vaker ingezet bij game-ontwikkeling, bijvoorbeeld bij het creëren van artwork, in-game assets of het creëren van stemmen. Steeds meer bedrijven zetten AI in bij de dagelijkse werkzaamheden die komen kijken bij game-ontwikkeling.

Dit zorgt echter ook voor veel controverse, omdat veel gamers hier principieel tegen zijn. Zij zien liever dat games geheel door mensen worden ontwikkeld. Daarbij is werk van AI in principe gebaseerd op werk van anderen, aangezien het daar van leert. Dat zorgt er voor dat veel gamers een afkeer hebben van het gebruik van AI bij game-ontwikkeling. Wanneer gamers ontdekken dat AI is ingezet bij het maken van games, worden deze spellen dan ook vaak hevig bekritiseerd, bijvoorbeeld via gebruikersrecensies op online gamewinkels.

Hieronder zijn enkele voorbeelden te zijn van beelden die met Project Genie zijn gecreëerd, waaronder projecten die wel erg op games van andere bedrijven lijken.

Het is zo goed als zeker dat Samsung hun Galaxy S26-serie op 25 februari aankondigt.

Insider Even Blass deelde op social media namelijk de uitnodiging voor het aankomende Galaxy Unpacked-evenement. Daaruit blijkt dat eerdere geruchten kloppen, en dat het evenement op 25 februari wordt gehouden.

Het was al bekend dat daar de nieuwe Galaxy S26-serie onthuld zou worden, dus nu weten fans van de smartphones van Samsung dat ze 25 februari in hun agenda moeten omcirkelen. Gezien de weergave van Galaxy AI-illustraties op de uitnodiging zal AI ook een grote rol spelen op het evenement. Hoe dan ook zal het grootste nieuws waarschijnlijk de opvolger van de Samsung Galaxy S25-serie zijn.

Over de Samsung Galaxy S26-toestellen

Samsung brengt dit jaar naar verwachting de Galaxy S26, S26+ en S26 Ultra. Eind vorig jaar lekten er al foto's van dummyversies van de smartphones op social media, waaruit blijkt dat deze modellen waarschijnlijk een ovaalvormig camera-eiland krijgen, vergelijkbaar met de Galaxy Z Fold-smartphones.

Qua kleuren zouden de nieuwe Galaxy-modellen in Black Shadow, White Shadow, Galactic Blue en Ultraviolet beschikbaar komen. Een grote focus zou ook liggen op de toevoeging van een privacyscherm - een optie zodat het moeilijker wordt voor omstanders om je het scherm van je smartphone te kijken.