ID.nl logo
Verkiezingen: AI-chatbots neigen naar links en zijn inconsistent, zegt TNO
© AK | ID.nl
Huis

Verkiezingen: AI-chatbots neigen naar links en zijn inconsistent, zegt TNO

Taalmodellen als ChatGPT zijn razendsnel populair geworden. Ze helpen mensen bij veel leeswerk, zoals het samenvatten zoals de verschillende standpunten van onze nationale politieke partijen. Maar hoe betrouwbaar en onbevooroordeeld zijn ze? TNO en Kieskompas hebben een experiment uitgevoerd om dat uit te zoeken.

In het experiment lieten TNO en Kieskompas verschillende taalmodellen de vragen van de stemhulp van het Kieskompas 2023 meerdere malen beantwoorden. De modellen blijken niet helemaal onbevooroordeeld: ze komen uit aan de linkerkant van het politieke spectrum. Daarnaast geven ze niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag.

Welke AI-modellen zijn onderzocht?

Aan de hand van populariteit, beschikbaarheid, toegankelijkheid en herkomst zijn zijn de volgende vijf generatieve AI-taalmodellen geselecteerd: Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is geprepareerd voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Hoe ging het experiment in zijn werk?

Modellen kunnen naast direct een vraag beantwoorden ook gebruik maken van context. Wanneer er context wordt toegevoegd, geeft dat de modellen een indicatie hoe de gebruiker de antwoorden graag wil terugzien, waardoor er soms beter resultaat teruggegeven wordt. Vandaar dat elk model getoetst is mét en zonder contextuele toevoegingen. Ze begrijpen bijvoorbeeld beter wat voor antwoord er van ze verwacht worden als ze al een voorbeeld gehad hebben van een vraag met een antwoord dat binnen de keuzemogelijkheid van het Kieskompas valt (‘Helemaal mee eens’, ‘Mee eens’, ‘Neutraal’, ‘Niet mee eens’, ‘Helemaal niet mee eens’ en ‘Geen mening’).

De antwoorden zijn door Kieskompas vertaald in coördinaten die TNO over het politiek landschap van Nederland heeft gelegd.

©Kieskompas/TNO

Figuur 1: Resultaat van alle getoetste modellen op het Nederlands Politiek Landschap (een enkel puntje betekent dit dat het model op elke stelling bij 10 pogingen 10 keer hetzelfde antwoord gaf).

©Kieskompas/TNO

Figuur 2: Resultaat van alle getoetste modellen zonder context. Een enkel puntje betekent dit dat het model op elke stelling bij 10 pogingen 10 keer hetzelfde antwoord gaf).

Resultaten: wisselvalig en niet neutraal

Wat opvalt aan de resultaten is dat de modellen heel wisselvallig zijn ( te zien aan de ingekleurde vlakken) en ook dat de modellen met name links georiënteerd zijn (zie figuren 1 en 2). Handmatige analyse liet zien dat OpenAI’s GPT modellen zeer snel bereid zijn om antwoord te geven op de stellingen.

Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag. Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft het wel zijn mening (zoals ook te zien hieronder).

TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden. Bovendien zijn de modellen van OpenAI consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.

©Kieskompas/TNO

Voorbeeld van het effect van context (modellen kregen allen dezelfde voorbeeldvraag) bij het antwoord van AI-taalmodel Falcon op een vraag van Kieskompas. Klik voor een grotere afbeelding.

Modellen zijn ondoorzichtig

Doordat niet transparant is hoe de modellen getraind zijn, is het niet te zeggen of een model in een andere context een hele andere mening kan geven. Het is dus onmogelijk om te achterhalen waarom het model tot bepaalde antwoorden komt.

Dat taalmodellen vooringenomenheid en inconsistentie vertonen lijkt misschien onschuldig, maar het kan grote gevolgen hebben. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

GPT-NL: een Nederlands taalmodel

Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit. TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.

▼ Volgende artikel
Philips presenteert betaalbare QD-OLED-monitor Evnia 27M2N6501L
© Philips
Huis

Philips presenteert betaalbare QD-OLED-monitor Evnia 27M2N6501L

Philips lanceert de Evnia 27M2N6501L, een 27-inch QD-OLED-monitor die hoogwaardige beeldkwaliteit combineert met een relatief scherpe prijs. Het model richt zich vooral op gamers en gebruikers die veel waarde hechten aan contrast, vloeiende actie en brede inzetbaarheid.

De monitor maakt gebruik van QD-OLED-technologie, die bekendstaat om diepe zwarttinten en hoge kleurprecisie. De QHD-resolutie levert een scherp beeld, terwijl HDR-ondersteuning en 10-bit kleurdiepte het scherm geschikt maken voor films, games en grafische software. Opvallend is dat Philips deze eigenschappen aanbiedt in een prijsklasse waar QD-OLED tot nu toe nauwelijks te vinden was.

Voor gamers biedt de 27M2N6501L een verversingssnelheid van 240 Hz, wat zorgt voor vloeiende animaties en minder haperingen bij snelle actie. De monitor is G-Sync compatible en heeft extra hulpmiddelen zoals Crosshair- en Sniper-functies en ShadowBoost, die details in donkere scènes beter zichtbaar maken. Ambiglow krijgt een AI-upgrade en past de lichtgloed achter het scherm automatisch aan op de content.

©PHILIPS | Copyright (c) 2021 Stock Unit/Shutterstock.

HDMI 2.1 maakt het mogelijk om consoles en pc's direct op maximale resolutie en snelheid te gebruiken. MultiView toont twee apparaten tegelijk, nuttig voor wie wil multitasken. Verder zijn er opties zoals LowBlue Mode en Flicker-Free, die vriendelijker zijn voor je ogen. Ook heeft deze monitor een volledig verstelbare standaard.

De Philips Evnia 27M2N6501L is direct verkrijgbaar voor een adviesprijs van 419 euro. Philips geeft drie jaar garantie op zijn OLED- en QD-OLED-schermen, inclusief burn-in-dekking.

©Philips

▼ Volgende artikel
Black Friday bij Keukenloods: kortingen op topkeuze inbouwapparatuur
Huis

Black Friday bij Keukenloods: kortingen op topkeuze inbouwapparatuur

Tijdens Black Friday pakt Keukenloods uit met hoge kortingen op populaire inbouwapparatuur van merken als Siemens en Bosch. Wij lichten hier vijf modellen uit die nu extra interessant zijn: stuk voor stuk slimme keuzes voor wie zijn keuken wil vernieuwen of uitbreiden.

Partnerbijdrage - in samenwerking met Keukenloods

Siemens ED851BS16E – kookplaat met geïntegreerde afzuiging

De Siemens ED851BS16E combineert koken en afzuigen in één strak oppervlak. De vier inductiezones zijn flexibel inzetbaar dankzij de combiZone, waarmee je twee zones kunt samenvoegen tot één groter kookvlak. Met de powerBoost-functie breng je water extra snel aan de kook, en de quickStart- en reStart-functies zorgen dat de kookplaat direct reageert of je instellingen behoudt als je hem kort uitzet. De ingebouwde afzuiging verwijdert kookdampen direct bij de bron: je hebt dus geen aparte afzuigkap meer nodig.

Siemens EX875LVB1E – inductiekookplaat met flexzones

De Siemens EX875LVB1E is een ruime inductiekookplaat met vijf kookzones die tegelijk gebruikt kunnen worden. De flexInductie-zone herkent automatisch het formaat van de pan en past het verwarmingsoppervlak daarop aan. Dankzij de dual lightSlider-bediening stel je elke zone met een vloeiende beweging nauwkeurig in, van sudderen tot aanbraden. De powerBoost-functie verhoogt het vermogen tot wel 50 procent, zodat je in korte tijd grote hoeveelheden water of gerechten kunt verhitten. De kookplaat beschikt over zeventien vermogensstanden, een warmhoudfunctie en een overkookbeveiliging, wat koken preciezer én veiliger maakt.

Siemens CM724G1B2 – combi-oven met magnetronfunctie

De Siemens CM724G1B2 is een compacte combi-oven met een inhoud van 45 liter en vijftien verwarmingssystemen, waaronder hetelucht, circulatiegrill en onder- en bovenwarmte. Dankzij de combinatie van oven- en magnetronfuncties bereid je gerechten in minder tijd, zonder dat ze hun structuur of smaak verliezen. Via HomeConnect bedien je hem op afstand, en met de oven-assistent gebruik je spraakcommando's om bijvoorbeeld de voorverwarming te starten. Het TFT-touchdisplay biedt een helder overzicht van programma's en temperaturen, terwijl de soft-close-deur en ledverlichting hem nóg gebruiksvriendelijker maken.

Siemens SN63HX36TN – volledig geïntegreerde vaatwasser

De Siemens SN63HX36TN is een volledig geïntegreerde vaatwasser met ruimte voor twaalf couverts en een geluidsniveau van slechts 46 dB. Het apparaat beschikt over zes programma's en vier speciale functies, waaronder VarioSpeed Plus om sneller te wassen en HomeConnect voor bediening via wifi. Dankzij de MachineCare-functie blijft de binnenruimte schoon en fris, en met de Infolight zie je via een lichtprojectie op de vloer of het programma nog loopt. Het verstelbare bovenrek en de flexibele indeling zorgen dat ook grote pannen of glazen eenvoudig passen.

Bosch SMH4ECX28E – stille inbouwvaatwasser

De Bosch SMH4ECX28E valt op door zijn stille werking (42 dB) en energieklasse A. De vaatwasser biedt ruimte voor veertien couverts en beschikt over zes programma's en vijf functies, waaronder Extra Droog en SpeedPerfect+. De VarioLade bovenin biedt extra plek voor bestek en klein servies, terwijl het RackMatic-systeem het bovenrek in hoogte verstelbaar maakt. Met HomeConnect bedien je de machine via de app, en de doseerassistent zorgt dat afwasmiddel gelijkmatig wordt verdeeld voor een optimaal resultaat. De roestvrijstalen kuip en de automatische deuropening na afloop van het programma dragen bij aan een grondig en efficiënt droogresultaat.

Of je nu kiest voor een kookplaat met geïntegreerde afzuiging, een smarte combi-oven of een fluisterstille vaatwasser: tijdens Black Friday is het bij Keukenloods hét moment om te investeren in een moderne keuken! Op de speciale Keukenloods Black Friday-pagina vind je alle aanbiedingen!

Over Keukenloods

In de 16 fysieke showrooms en via Keukenloods.nl – de grootste online winkel voor inbouwapparatuur in Nederland – helpt Keukenloods dagelijks klanten bij het samenstellen van hun ideale keuken. Dankzij deskundig advies in de winkels, een uitgebreid online aanbod, scherpe prijzen en betrouwbare levering  weet je zeker dat jouw nieuwe inbouwapparatuur perfect past bij je keuken én je wensen.