Taalmodellen als ChatGPT zijn razendsnel populair geworden. Ze helpen mensen bij veel leeswerk, zoals het samenvatten zoals de verschillende standpunten van onze nationale politieke partijen. Maar hoe betrouwbaar en onbevooroordeeld zijn ze? TNO en Kieskompas hebben een experiment uitgevoerd om dat uit te zoeken.

In het experiment lieten TNO en Kieskompas verschillende taalmodellen de vragen van de stemhulp van het Kieskompas 2023 meerdere malen beantwoorden. De modellen blijken niet helemaal onbevooroordeeld: ze komen uit aan de linkerkant van het politieke spectrum. Daarnaast geven ze niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag.

Welke AI-modellen zijn onderzocht?

Aan de hand van populariteit, beschikbaarheid, toegankelijkheid en herkomst zijn zijn de volgende vijf generatieve AI-taalmodellen geselecteerd: Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is geprepareerd voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Hoe ging het experiment in zijn werk?

Modellen kunnen naast direct een vraag beantwoorden ook gebruik maken van context. Wanneer er context wordt toegevoegd, geeft dat de modellen een indicatie hoe de gebruiker de antwoorden graag wil terugzien, waardoor er soms beter resultaat teruggegeven wordt. Vandaar dat elk model getoetst is mét en zonder contextuele toevoegingen. Ze begrijpen bijvoorbeeld beter wat voor antwoord er van ze verwacht worden als ze al een voorbeeld gehad hebben van een vraag met een antwoord dat binnen de keuzemogelijkheid van het Kieskompas valt (‘Helemaal mee eens’, ‘Mee eens’, ‘Neutraal’, ‘Niet mee eens’, ‘Helemaal niet mee eens’ en ‘Geen mening’).

De antwoorden zijn door Kieskompas vertaald in coördinaten die TNO over het politiek landschap van Nederland heeft gelegd.

©Kieskompas/TNO

©Kieskompas/TNO

Resultaten: wisselvalig en niet neutraal

Wat opvalt aan de resultaten is dat de modellen heel wisselvallig zijn ( te zien aan de ingekleurde vlakken) en ook dat de modellen met name links georiënteerd zijn (zie figuren 1 en 2). Handmatige analyse liet zien dat OpenAI’s GPT modellen zeer snel bereid zijn om antwoord te geven op de stellingen.

Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag. Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft het wel zijn mening (zoals ook te zien hieronder).

TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden. Bovendien zijn de modellen van OpenAI consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.

©Kieskompas/TNO

Modellen zijn ondoorzichtig

Doordat niet transparant is hoe de modellen getraind zijn, is het niet te zeggen of een model in een andere context een hele andere mening kan geven. Het is dus onmogelijk om te achterhalen waarom het model tot bepaalde antwoorden komt.

Dat taalmodellen vooringenomenheid en inconsistentie vertonen lijkt misschien onschuldig, maar het kan grote gevolgen hebben. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

GPT-NL: een Nederlands taalmodel

Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit. TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.

Bij ID.nl zijn we gek op producten waar je niet de hoofdprijs voor betaalt. Daarom gaan we een paar keer per week op zoek naar zulke deals. Met de feestdagen voor de deur kijken we dit keer naar 5.1-surroundsets voor de woonkamer. Want wat is er nou leuker om je favoriete film of serie te kijken met supergoed geluid? Of bij het gamen? Voor minder dan 300 euro welteverstaan.

Een 5.1 speakerset is een geluidssysteem dat is opgebouwd uit zes verschillende luidsprekers. Het cijfer 5 staat voor de satellietluidsprekers: een middenkanaal voor spraak, twee speakers voorin (links en rechts) en twee speakers die je achter je plaatst. De .1 verwijst naar de subwoofer, die specifiek de lage bastonen voor zijn rekening neemt. Doordat deze luidsprekers rondom de luisterpositie worden geplaatst, komt het geluid vanuit verschillende richtingen op je af. Dit creëert een ruimtelijk effect waardoor je bij het kijken van films en series of het spelen van games wordt omringd door geluid.

Logitech Z906

Deze set is ontworpen om meerdere audiobronnen tegelijkertijd te kunnen verwerken. Je sluit tot zes apparaten aan, zoals een televisie, gameconsole of computer, via de beschikbare digitale optische, digitale coaxiale of analoge ingangen. De set beschikt over een bedieningsconsole die je stapelt bij je apparatuur en een draadloze afstandsbediening voor bediening vanaf de bank. Het systeem levert een continu vermogen van 500 watt en is THX-gecertificeerd, wat betekent dat het voldoet aan specifieke prestatie-eisen voor bioscoopgeluid. De decodering ondersteunt Dolby Digital en DTS-soundtracks. Naast de subwoofer krijg je vier satellietluidsprekers en een middenkanaal die je flexibel kunt plaatsen.

Sony HT-S40R

Bij dit systeem worden de achterste luidsprekers aangestuurd door een draadloze versterker, waardoor er geen kabels van de soundbar voorin de kamer naar achteren hoeven te lopen. De soundbar zelf beschikt over drie kanalen en werkt samen met de subwoofer en de twee achterspeakers voor de 5.1-weergave. Het totale uitgangsvermogen bedraagt 600 watt. Voor de connectiviteit maak je gebruik van HDMI ARC, een optische ingang of een analoge aansluiting. Daarnaast is er Bluetooth 5.0 aanwezig voor het streamen van audio vanaf mobiele apparaten. De soundbar kan aan de muur worden bevestigd of voor de televisie worden geplaatst.

Trust GXT 658 Tytan

Dit geluidssysteem is eigenlijk voornamelijk bedoeld voor games en in combinatie met een pc of gameconsole, waarbij de houten subwoofer het middelpunt vormt. De basweergave is gesynchroniseerd met geïntegreerde LED-verlichting die reageert op het ritme van het geluid. Het systeem schakelt automatisch naar een stand-by modus wanneer het niet in gebruik is. De set wordt geleverd met een afstandsbediening waarmee je onder andere de bas en het volume regelt. De kabels voor de achterste luidsprekers hebben een lengte van 8 meter, wat plaatsing in grotere ruimtes mogelijk maakt zonder verlengsnoeren. Het piekvermogen ligt op 180 watt.

Hisense AX5100G

Dit audiosysteem ondersteunt Dolby Atmos-technologie voor een ruimtelijke geluidsweergave. De set bestaat uit een soundbar, een losse subwoofer en twee achterluidsprekers. Met een totaal vermogen van 340 watt worden de verschillende frequenties verdeeld over de speakers. Je hebt de beschikking over diverse equalizer-modi, waaronder instellingen voor nieuws, film en games. Aansluiten op de televisie gaat via HDMI eARC, maar er zijn ook opties voor USB en een optische kabel. De achterspeakers plaats je achter de luisterpositie om het surround-effect van de 5.1-opstelling te completeren.

Sony HT-S20R

Je installeert dit systeem met een soundbar, subwoofer en twee bedrade achterspeakers. De soundbar verzorgt de linker-, rechter- en middenkanalen, terwijl de externe subwoofer de lage tonen voor zijn rekening neemt. Het systeem heeft een totaal vermogen van 400 watt en ondersteunt Dolby Digital. Via de USB-poort speel je audiobestanden direct af van een geheugenstick. Voor de verbinding met de televisie gebruik je HDMI ARC, maar als je televisie dit niet ondersteunt, zijn er optische en analoge ingangen beschikbaar. De set beschikt over diverse geluidsmodi die je met een knop op de afstandsbediening selecteert.

AOC brengt met de Gaming 25G4KUR een monitor op de markt die volledig is afgestemd op competitieve gamers. Het 24,5-inch scherm haalt een verversingssnelheid tot 420 Hz en biedt snelle reactietijden, Adaptive-Sync en ergonomische instelmogelijkheden.

Supersnel beeld voor competitieve spelers

De AOC Gaming 25G4KUR (adviesprijs 259 euro) is bedoeld voor wie elke milliseconde telt. Dankzij een overklokte verversingssnelheid van 420 Hz (400 Hz standaard) en een responstijd tot 0,3 milliseconde reageert het scherm vrijwel direct op elke actie. Dat maakt hem geschikt voor snelle shooters, esports-toernooien en spelers die vloeiende bewegingen en minimale vertraging willen.

Het 24,5-inch formaat is populair onder professionele esports-spelers, omdat het speelveld overzichtelijk blijft zonder dat de ogen veel hoeven te bewegen. De Full HD-resolutie zorgt ervoor dat hoge framerates haalbaar zijn, zelfs met een middenklasse grafische kaart.

©AGON by AOC

Heldere kleuren en vloeiende beelden

De 25G4KUR gebruikt een Fast IPS-paneel met brede kijkhoeken en een kleurdekking van 121 procent sRGB. Het scherm is compatibel met NVIDIA G-SYNC. Adaptive-Sync, zorgt ervoor dat beelden vloeiend blijven zonder haperingen of tearing. DisplayHDR 400 biedt bovendien een iets hoger contrast en betere helderheid dan standaard SDR-monitoren.

Ontworpen voor urenlang gamen

AOC rust de monitor uit met functies die lange gamesessies comfortabeler moeten maken. De flicker-free achtergrondverlichting en blauwlichtreductie verminderen vermoeide ogen, terwijl de ergonomische standaard in hoogte verstelbaar is en kantel-, draai- en rotatiefuncties heeft. Via AOC's G-Menu-software kunnen spelers profielen aanmaken, instellingen aanpassen en de Low Input Lag-modus activeren.