Taalmodellen als ChatGPT zijn razendsnel populair geworden. Ze helpen mensen bij veel leeswerk, zoals het samenvatten zoals de verschillende standpunten van onze nationale politieke partijen. Maar hoe betrouwbaar en onbevooroordeeld zijn ze? TNO en Kieskompas hebben een experiment uitgevoerd om dat uit te zoeken.

In het experiment lieten TNO en Kieskompas verschillende taalmodellen de vragen van de stemhulp van het Kieskompas 2023 meerdere malen beantwoorden. De modellen blijken niet helemaal onbevooroordeeld: ze komen uit aan de linkerkant van het politieke spectrum. Daarnaast geven ze niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag.

Welke AI-modellen zijn onderzocht?

Aan de hand van populariteit, beschikbaarheid, toegankelijkheid en herkomst zijn zijn de volgende vijf generatieve AI-taalmodellen geselecteerd: Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is geprepareerd voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Hoe ging het experiment in zijn werk?

Modellen kunnen naast direct een vraag beantwoorden ook gebruik maken van context. Wanneer er context wordt toegevoegd, geeft dat de modellen een indicatie hoe de gebruiker de antwoorden graag wil terugzien, waardoor er soms beter resultaat teruggegeven wordt. Vandaar dat elk model getoetst is mét en zonder contextuele toevoegingen. Ze begrijpen bijvoorbeeld beter wat voor antwoord er van ze verwacht worden als ze al een voorbeeld gehad hebben van een vraag met een antwoord dat binnen de keuzemogelijkheid van het Kieskompas valt (‘Helemaal mee eens’, ‘Mee eens’, ‘Neutraal’, ‘Niet mee eens’, ‘Helemaal niet mee eens’ en ‘Geen mening’).

De antwoorden zijn door Kieskompas vertaald in coördinaten die TNO over het politiek landschap van Nederland heeft gelegd.

©Kieskompas/TNO

©Kieskompas/TNO

Resultaten: wisselvalig en niet neutraal

Wat opvalt aan de resultaten is dat de modellen heel wisselvallig zijn ( te zien aan de ingekleurde vlakken) en ook dat de modellen met name links georiënteerd zijn (zie figuren 1 en 2). Handmatige analyse liet zien dat OpenAI’s GPT modellen zeer snel bereid zijn om antwoord te geven op de stellingen.

Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag. Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft het wel zijn mening (zoals ook te zien hieronder).

TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden. Bovendien zijn de modellen van OpenAI consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.

©Kieskompas/TNO

Modellen zijn ondoorzichtig

Doordat niet transparant is hoe de modellen getraind zijn, is het niet te zeggen of een model in een andere context een hele andere mening kan geven. Het is dus onmogelijk om te achterhalen waarom het model tot bepaalde antwoorden komt.

Dat taalmodellen vooringenomenheid en inconsistentie vertonen lijkt misschien onschuldig, maar het kan grote gevolgen hebben. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

GPT-NL: een Nederlands taalmodel

Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit. TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.

De Logitech G325 Lightspeed Wireless, de nieuwe instap-gamingheadset van het bedrijf, is vanaf vandaag beschikbaar.

Volgens Logitech is de headset gericht op zowel comfort als een luxe game-ervaring. Zo weegt de G325 Lightspeed Wireless 212 gram en heeft het ontwerp een modernere uitstraling om ook buiten het gamen te dragen. Daarmee is ook de microfoonarm vervangen voor een beamforming microfoon, die met behulp van AI-ruisonderdrukking en spraakversterking de stem van spelers opvangt.

Ook ondersteunt de headset 24-bit audio, moet de batterij tot 24 uur meegaan kent het Lightspeed- en bluetoothverbindingen voor verbindingen met consoles en pc. Zoals gebruikelijk kunnen spelers ook een flink aantal instellingen aanpassen, zoals het geluid met een equalizer en game-presets, in de mobiele app of G Hub-software op pc.

De G325 heeft een adviesprijs van 79,99 euro is vanaf vandaag beschikbaar Logitech en andere winkels in de kleuren zwart, wit en lila.

Previous slideNext slide

De langverwachte HBO Max-serie gebaseerd op de Harry Potter-boeken zal ergens in het begin van 2027 uitkomen.

De langverwachte HBO Max-serie gebaseerd op de Harry Potter-boeken zal ergens in het begin Dat heeft HBO-baas Casey Bloys laten weten aan Deadline. Het was al bekend dat de serie ergens in 2027 uit zou komen op de streamingdienst, maar nu is dus duidelijk dat dit ergens begin volgend jaar wordt. Een specifiekere datum is er vooralsnog niet.

Over de Harry Potter-serie

Net zoals dat de filmreeks de Harry Potter-boeken verfilmde, zal de nieuwe HBO-serie dat ook doen. Elk seizoen moet daarbij de gebeurtenissen uit een boek behandelen. Er zouden bij succes dus zeven seizoenen kunnen verschijnen.

De opnames zijn al een aantal maanden bezig in het Verenigd Koninkrijk. Vorig jaar werden al diverse acteurs die de rollen op zich nemen onthuld. Zo zullen Dominic McLaughlin en Nick Frost (Hot Fuzz) te zien zijn als respectievelijk Harry Potter en Hagrid. Daarnaast zullen Arabella Stanton de rol van Hermione Granger (Hermelien Griffel) en Alastair Stout de rol van Ron Weasley (Ron Wemel) vertolken.

De showrunner van de serie is Francesca Gardiner, die eerder al aan The Man in the High Castle en His Dark Materials werkte. Eerder liet Gardiner weten dat het de bedoeling is dat ze haar eigen draai aan het verhaal geeft. Ook de geprezen regisseur Mark Mylod – bekend van Succession en The Last of Us – werkt aan de serie.