ID.nl logo
Verkiezingen: AI-chatbots neigen naar links en zijn inconsistent, zegt TNO
© AK | ID.nl
Huis

Verkiezingen: AI-chatbots neigen naar links en zijn inconsistent, zegt TNO

Taalmodellen als ChatGPT zijn razendsnel populair geworden. Ze helpen mensen bij veel leeswerk, zoals het samenvatten zoals de verschillende standpunten van onze nationale politieke partijen. Maar hoe betrouwbaar en onbevooroordeeld zijn ze? TNO en Kieskompas hebben een experiment uitgevoerd om dat uit te zoeken.

In het experiment lieten TNO en Kieskompas verschillende taalmodellen de vragen van de stemhulp van het Kieskompas 2023 meerdere malen beantwoorden. De modellen blijken niet helemaal onbevooroordeeld: ze komen uit aan de linkerkant van het politieke spectrum. Daarnaast geven ze niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag.

Welke AI-modellen zijn onderzocht?

Aan de hand van populariteit, beschikbaarheid, toegankelijkheid en herkomst zijn zijn de volgende vijf generatieve AI-taalmodellen geselecteerd: Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is geprepareerd voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Hoe ging het experiment in zijn werk?

Modellen kunnen naast direct een vraag beantwoorden ook gebruik maken van context. Wanneer er context wordt toegevoegd, geeft dat de modellen een indicatie hoe de gebruiker de antwoorden graag wil terugzien, waardoor er soms beter resultaat teruggegeven wordt. Vandaar dat elk model getoetst is mét en zonder contextuele toevoegingen. Ze begrijpen bijvoorbeeld beter wat voor antwoord er van ze verwacht worden als ze al een voorbeeld gehad hebben van een vraag met een antwoord dat binnen de keuzemogelijkheid van het Kieskompas valt (‘Helemaal mee eens’, ‘Mee eens’, ‘Neutraal’, ‘Niet mee eens’, ‘Helemaal niet mee eens’ en ‘Geen mening’).

De antwoorden zijn door Kieskompas vertaald in coördinaten die TNO over het politiek landschap van Nederland heeft gelegd.

©Kieskompas/TNO

Figuur 1: Resultaat van alle getoetste modellen op het Nederlands Politiek Landschap (een enkel puntje betekent dit dat het model op elke stelling bij 10 pogingen 10 keer hetzelfde antwoord gaf).

©Kieskompas/TNO

Figuur 2: Resultaat van alle getoetste modellen zonder context. Een enkel puntje betekent dit dat het model op elke stelling bij 10 pogingen 10 keer hetzelfde antwoord gaf).

Resultaten: wisselvalig en niet neutraal

Wat opvalt aan de resultaten is dat de modellen heel wisselvallig zijn ( te zien aan de ingekleurde vlakken) en ook dat de modellen met name links georiënteerd zijn (zie figuren 1 en 2). Handmatige analyse liet zien dat OpenAI’s GPT modellen zeer snel bereid zijn om antwoord te geven op de stellingen.

Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag. Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft het wel zijn mening (zoals ook te zien hieronder).

TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden. Bovendien zijn de modellen van OpenAI consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.

©Kieskompas/TNO

Voorbeeld van het effect van context (modellen kregen allen dezelfde voorbeeldvraag) bij het antwoord van AI-taalmodel Falcon op een vraag van Kieskompas. Klik voor een grotere afbeelding.

Modellen zijn ondoorzichtig

Doordat niet transparant is hoe de modellen getraind zijn, is het niet te zeggen of een model in een andere context een hele andere mening kan geven. Het is dus onmogelijk om te achterhalen waarom het model tot bepaalde antwoorden komt.

Dat taalmodellen vooringenomenheid en inconsistentie vertonen lijkt misschien onschuldig, maar het kan grote gevolgen hebben. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

GPT-NL: een Nederlands taalmodel

Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit. TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.

▼ Volgende artikel
Gerucht: iPhone 17e gaat evenveel kosten als voorganger
© Jeroen Boer - ID.nl
Huis

Gerucht: iPhone 17e gaat evenveel kosten als voorganger

De mogelijk binnenkort te verschijnen iPhone 17e zou evenveel gaan kosten als de iPhone 16e, namelijk 599 dollar - omgerekend mogelijk wederom 719 euro.

Dat claimt journalist en Apple-expert Mark Gurman op Bloomberg. De iPhone e-modellen zijn betaalbaardere versies van de iPhone. Dat blijkt wel uit de prijs van de begin vorig jaar uitgekomen iPhone 16e, die op release 719 euro (en 699 dollar in de VS) kostte.

Gurman claimt dat de prijs van opvolger iPhone 17e in ieder geval in de VS gelijk blijft, oftewel nog steeds 699 dollar. Dat zou dus kunnen betekenen dat hij ook weer 719 euro in Europa gaat kosten.

Verbeteringen

De prijs blijft waarschijnlijk dan wel gelijk, maar de 17e zou toch enkele verbeteringen ten opzichte van de 16e kennen. Zo zou er een A19-chip in de iPhone 17e zitten, een chip die ook in de duurdere, reguliere iPhone-modellen voorkomt.

Verder zou de 17e ook Apple's 5G-chip bevatten, net zoals de duurdere iPhones. Tot slot zou ook MagSafe ondersteund worden voor Apple’s magnetische accessoires. Dit was bij de iPhone 16e niet het geval.

Volgens Gurman wordt de iPhone 17e op 19 februari onthuld en ergens binnenkort uitgebracht. De 16e kwam op 28 februari 2025 uit, dus het is waarschijnlijk dat de opvolger ook ergens later deze maand of begin volgende maand uitkomt. De reguliere iPhone-modellen worden altijd pas in september aangekondigd en uitgebracht.

Overigens claimt Gurman ook dat Apple binnenkort nieuwe iPads uitbrengt - een iPad Air met een M4-chip en een instapmodel met een A18-chip - en nieuwe Macbook Airs en Pro's. Die zouden mogelijk ergens in maart uitkomen.

Nieuw op ID: het complete plaatje

Misschien valt het je op dat er vanaf nu ook berichten over games, films en series op onze site verschijnen. Dat is een bewuste stap. Wij geloven dat technologie niet stopt bij hardware; het gaat uiteindelijk om wat je ermee beleeft. Daarom combineren we onze expertise in tech nu met het laatste nieuws over entertainment. Dat doen we met de gezichten die mensen kennen van Power Unlimited, dé experts op het gebied van gaming en streaming. Zo helpen we je niet alleen aan de beste tv, smartphone of laptop, maar vertellen we je ook direct wat je erop moet kijken of spelen. Je vindt hier dus voortaan de ideale mix van hardware én content.

▼ Volgende artikel
Veilig gevoel: nieuwe Aankomstmeldingen van Snapchat sturen een seintje als je veilig bent aangekomen
© guteksk7 - stock.adobe.com
Huis

Veilig gevoel: nieuwe Aankomstmeldingen van Snapchat sturen een seintje als je veilig bent aangekomen

Het is vandaag Safer Internet Day en Snapchat grijpt dat moment aan om de veiligheidsopties in Snap Kaart uit te breiden. Met Aankomstmeldingen kun je automatisch een vriend laten weten dat je veilig ergens bent aangekomen, zonder dat je zelf nog een bericht hoeft te sturen. De functie bouwt voort op 'Veilig thuis', dat eerder vooral was bedoeld als seintje bij thuiskomst.

Zo werkte 'Veilig thuis' tot nu toe

Je kon in een chat of via het profiel van een vriend in Snap Kaart onder 'Aankomstmeldingen' de optie 'Mijn huis' inschakelen. Zodra je thuiskwam, kreeg die vriend een pushmelding en een melding in Chat. Je kon daarbij kiezen of de melding 'Eenmalig' was (die instelling verloopt na 24 uur) of 'Elke keer'.

©Snapchat

Dit verandert er met Aankomstmeldingen

Je kunt dezelfde meldingen nu ook instellen voor andere plekken dan thuis, zoals de sportschool, school of een hotel. In de Nederlandse Snapchat-app voeg je onder 'Aankomstmeldingen' een locatie toe via het profiel van een vriend of direct vanuit een chat. Je beweegt de kaart, kiest 'Locatie instellen' en zet de schakelaar daarna aan. Ook hier kun je kiezen tussen 'Eenmalig' en 'Elke keer'. Snapchat laat je desgewenst een naam en emoji aan een plek geven. Je kunt maximaal tien plekken opslaan; die lijst is voor al je vrienden hetzelfde, terwijl jij per vriend bepaalt wie meldingen krijgt. Ben je veilig op de plek van bestemming, dan krijgen je vrienden automatisch een pushmelding en een melding in Chat.

Voor Aankomstmeldingen geldt volgens Snapchat wel een belangrijke voorwaarde: je locatie-instellingen op je telefoon moeten op "Altijd" staan. Dat betekent dat je op de kaart zichtbaar kunt zijn voor vrienden die jouw locatie mogen zien, tenzij je Onzichtbare modus gebruikt.