ID.nl logo
Verkiezingen: AI-chatbots neigen naar links en zijn inconsistent, zegt TNO
© AK | ID.nl
Huis

Verkiezingen: AI-chatbots neigen naar links en zijn inconsistent, zegt TNO

Taalmodellen als ChatGPT zijn razendsnel populair geworden. Ze helpen mensen bij veel leeswerk, zoals het samenvatten zoals de verschillende standpunten van onze nationale politieke partijen. Maar hoe betrouwbaar en onbevooroordeeld zijn ze? TNO en Kieskompas hebben een experiment uitgevoerd om dat uit te zoeken.

In het experiment lieten TNO en Kieskompas verschillende taalmodellen de vragen van de stemhulp van het Kieskompas 2023 meerdere malen beantwoorden. De modellen blijken niet helemaal onbevooroordeeld: ze komen uit aan de linkerkant van het politieke spectrum. Daarnaast geven ze niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag.

Welke AI-modellen zijn onderzocht?

Aan de hand van populariteit, beschikbaarheid, toegankelijkheid en herkomst zijn zijn de volgende vijf generatieve AI-taalmodellen geselecteerd: Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is geprepareerd voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Hoe ging het experiment in zijn werk?

Modellen kunnen naast direct een vraag beantwoorden ook gebruik maken van context. Wanneer er context wordt toegevoegd, geeft dat de modellen een indicatie hoe de gebruiker de antwoorden graag wil terugzien, waardoor er soms beter resultaat teruggegeven wordt. Vandaar dat elk model getoetst is mét en zonder contextuele toevoegingen. Ze begrijpen bijvoorbeeld beter wat voor antwoord er van ze verwacht worden als ze al een voorbeeld gehad hebben van een vraag met een antwoord dat binnen de keuzemogelijkheid van het Kieskompas valt (‘Helemaal mee eens’, ‘Mee eens’, ‘Neutraal’, ‘Niet mee eens’, ‘Helemaal niet mee eens’ en ‘Geen mening’).

De antwoorden zijn door Kieskompas vertaald in coördinaten die TNO over het politiek landschap van Nederland heeft gelegd.

©Kieskompas/TNO

Figuur 1: Resultaat van alle getoetste modellen op het Nederlands Politiek Landschap (een enkel puntje betekent dit dat het model op elke stelling bij 10 pogingen 10 keer hetzelfde antwoord gaf).

©Kieskompas/TNO

Figuur 2: Resultaat van alle getoetste modellen zonder context. Een enkel puntje betekent dit dat het model op elke stelling bij 10 pogingen 10 keer hetzelfde antwoord gaf).

Resultaten: wisselvalig en niet neutraal

Wat opvalt aan de resultaten is dat de modellen heel wisselvallig zijn ( te zien aan de ingekleurde vlakken) en ook dat de modellen met name links georiënteerd zijn (zie figuren 1 en 2). Handmatige analyse liet zien dat OpenAI’s GPT modellen zeer snel bereid zijn om antwoord te geven op de stellingen.

Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag. Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft het wel zijn mening (zoals ook te zien hieronder).

TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden. Bovendien zijn de modellen van OpenAI consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.

©Kieskompas/TNO

Voorbeeld van het effect van context (modellen kregen allen dezelfde voorbeeldvraag) bij het antwoord van AI-taalmodel Falcon op een vraag van Kieskompas. Klik voor een grotere afbeelding.

Modellen zijn ondoorzichtig

Doordat niet transparant is hoe de modellen getraind zijn, is het niet te zeggen of een model in een andere context een hele andere mening kan geven. Het is dus onmogelijk om te achterhalen waarom het model tot bepaalde antwoorden komt.

Dat taalmodellen vooringenomenheid en inconsistentie vertonen lijkt misschien onschuldig, maar het kan grote gevolgen hebben. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

GPT-NL: een Nederlands taalmodel

Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit. TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.

▼ Volgende artikel
🍕 Effe wachten… Met deze oven staat er in tweeënhalve minuut een verse pizza op tafel!
© sonyakamoz - stock.adobe.com
Huis

🍕 Effe wachten… Met deze oven staat er in tweeënhalve minuut een verse pizza op tafel!

Niks zo lekker als een verse pizza. Jammer alleen dat het altijd zo lang duurt voordat-ie klaar is. Dat probleem is nu opgelost: AEG komt met een inbouw combi-stoomoven die een speciale pizzastand heeft. Pizza erin en 2,5 minuut* later is het genieten geblazen. Mangiare!

*Om het even in perspectief te zetten: 2,5 minuut, dat is net lang genoeg om de vaatwasser uit te ruimen, je tanden goed te poetsen of één gemiddelde track op Spotify te beluisteren. Helemaal niks dus.

View post on Instagram
 

In een gewone oven duurt het bakken van een verse pizza al gauw 10 tot 12 minuten. De AEG TX7PB62FSB is dus echt supersnel. Dat komt omdat er een speciale pizzastand op zit met een indrukwekkende maximale temperatuur van 340°C. Dankzij deze enorme hitte bak je in slechts 150 seconden een pizza met een perfecte, luchtige en krokante korst. Het is dan ook niet voor niets dat deze oven officieel is goedgekeurd door de Scuola Italiana Pizzaioli, de Italiaanse Pizza Academy.

En het mooie is: ook wie geen principe della cucina (inderdaad, keukenprins) is maakt hiermee de lekkerste pizza's. Het EXCite Touch Display fungeert als je persoonlijke assistent in de keuken. Het scherm vertelt je exact wanneer je de pizza in de oven moet schuiven en wanneer hij er weer uit mag. Voor de voorbereiding kun je rekenen op de AEG-app, die je helpt bij het kneden van authentiek Napolitaans deeg, het bereiden van de perfecte tomatensaus én de nodige inspiratie biedt. Bovendien krijg je er een speciale bakplaat en pizzaschep bij. Succes gegarandeerd dus.

©AEG

Na afloop van een legendarische pizza-avond hoef je niet op te zien tegen het schoonmaken. De pyrolytische zelfreinigingsfunctie brandt vet en resten op hoge temperatuur weg tot as, waardoor je alleen nog maar een vochtig doekje over de binnenkant van de oven hoeft te halen.

Behalve voor die legendarische pizza-avonden is deze ruime oven van 72 liter ook handig voor allerlei andere gerechten. Je wisselt makkelijk tussen de broodbakfunctie met deegrijsfunctie en technieken zoals garen op lage temperatuur of het dehydrateren van fruit en kruiden. Wil je een ovenschotel gratineren, een quichebodem krokant krijgen met alleen onderwarmte of snel iets ontdooien, dan kies je simpelweg de stand die daarbij past. Zelfs aan de details is gedacht, met functies voor het voorverwarmen van borden, het warmhouden van maaltijden en een slimme stand voor inmaken.

Hebben? Effe wachten… effe wachten… zoals het er nu naar uitziet is de AEG TX7PB62FSB vanaf maart bij alle bekende aanbieders verkrijgbaar.

Bekijk alle inbouwovens van AEG op Kieskeurig.nl

▼ Volgende artikel
Gerucht: Resident Evil: Code Veronica-remake verschijnt volgend jaar
Huis

Gerucht: Resident Evil: Code Veronica-remake verschijnt volgend jaar

Het ziet er naar uit dat een remake van Resident Evil: Code Veronica ergens in de eerste helft van 2027 uitkomt.

Er gaan al geruime tijd geruchten over een remake van Resident Evil: Code Veronica. Resident Evil-insider Dusk Golem meldt al geruime tijd dat Capcom aan een remake van de game werkt, alsmede een remake van Resident Evil 0.

Nu heeft de betrouwbare insider NateTheHate zich ook uitgesproken over de remake. Hij claimt ook dat de remake ergens in de eerste helft van 2027 verschijnt. Het is dan ook waarschijnlijk dat de game ergens dit jaar wordt aangekondigd.

De meest recente remake van een Resident Evil-game is de remake van Resident Evil 4. Die game werd zeer goed ontvangen. Hoewel veel fans vermoedden dat de volgende remake die van Resident Evil 5 zou betreffen, lijkt het er op dat mensen hier voorlopig nog op moeten wachten, omdat Code Veronica - en mogelijk ook Resident Evil 0 - eerst aan de beurt zijn.

View post on X

Over Resident Evil: Code Veronica

Resident Evil: Code Veronica kwam in 2000 uit op Sega's laatste console, de Dreamcast, en later ook naar andere platforms. De game speelt zich ongeveer drie maanden na de gebeurtenissen uit Resident Evil 2 en 3 af. In het spel proberen Claire Redfield en haar broer Chris een uitbraak van het zombievirus op een afgelegen eiland en een onderzoeksfaciliteit in Antarctica te overleven.

De oorspronkelijke game bevatte de traditionele, ietwat ouderwetse besturing van de eerdere Resident Evil-delen voordat Resident Evil 4 een modernere besturing introduceerde. Wel werden de voorgerenderde achtergronden uit eerdere delen vervangen voor 3D-omgevingen en een dynamische camera.

Nog meer Resident Evil

Hoewel de Resident Evil-reeks in de jaren negentig ontstond, blijft de gamefranchise erg relevant, mede dankzij de remakes en nieuwe delen. Op 27 februari verschijnt het negende hoofddeel in de serie, genaamd Resident Evil: Requiem.

In Requiem besturen spelers twee personages: Grace Ashcroft en Leon S. Kennedy. Beide personages bieden een verschillende speelstijl. De segmenten met Leon - onder andere bekend uit Resident Evil 2 en Resident Evil 4 - zijn erg op actievolle schietgevechten gericht. Leon kan daarnaast ook de kelen van vijanden doorsnijden. Hij heeft ook een bijl waarmee hij aanvallen kan afweren. Grace's segmenten zijn juist erg gericht op spanning en horror en draaien vooral om het vermijden van intense gevechten.

Onlangs werden er nog nieuwe beelden van de game getoond, die hier zijn te bekijken. Resident Evil Requiem verschijnt op 27 februari (pre-orderen kan nu al) voor PlayStation 5Xbox Series X en S, Nintendo Switch 2 en pc. Op 27 februari zullen ook Resident Evil 7 en Resident Evil Village (het achtste deel) op Nintendo Switch 2 uitkomen.

Nieuw op ID: het complete plaatje

Misschien valt het je op dat er vanaf nu ook berichten over games, films en series op onze site verschijnen. Dat is een bewuste stap. Wij geloven dat technologie niet stopt bij hardware; het gaat uiteindelijk om wat je ermee beleeft. Daarom combineren we onze expertise in tech nu met het laatste nieuws over entertainment. Dat doen we met de gezichten die mensen kennen van Power Unlimited, dé experts op het gebied van gaming en streaming. Zo helpen we je niet alleen aan de beste tv, smartphone of laptop, maar vertellen we je ook direct wat je erop moet kijken of spelen. Je vindt hier dus voortaan de ideale mix van hardware én content.