Taalmodellen als ChatGPT zijn razendsnel populair geworden. Ze helpen mensen bij veel leeswerk, zoals het samenvatten zoals de verschillende standpunten van onze nationale politieke partijen. Maar hoe betrouwbaar en onbevooroordeeld zijn ze? TNO en Kieskompas hebben een experiment uitgevoerd om dat uit te zoeken.

In het experiment lieten TNO en Kieskompas verschillende taalmodellen de vragen van de stemhulp van het Kieskompas 2023 meerdere malen beantwoorden. De modellen blijken niet helemaal onbevooroordeeld: ze komen uit aan de linkerkant van het politieke spectrum. Daarnaast geven ze niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag.

Welke AI-modellen zijn onderzocht?

Aan de hand van populariteit, beschikbaarheid, toegankelijkheid en herkomst zijn zijn de volgende vijf generatieve AI-taalmodellen geselecteerd: Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is geprepareerd voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Hoe ging het experiment in zijn werk?

Modellen kunnen naast direct een vraag beantwoorden ook gebruik maken van context. Wanneer er context wordt toegevoegd, geeft dat de modellen een indicatie hoe de gebruiker de antwoorden graag wil terugzien, waardoor er soms beter resultaat teruggegeven wordt. Vandaar dat elk model getoetst is mét en zonder contextuele toevoegingen. Ze begrijpen bijvoorbeeld beter wat voor antwoord er van ze verwacht worden als ze al een voorbeeld gehad hebben van een vraag met een antwoord dat binnen de keuzemogelijkheid van het Kieskompas valt (‘Helemaal mee eens’, ‘Mee eens’, ‘Neutraal’, ‘Niet mee eens’, ‘Helemaal niet mee eens’ en ‘Geen mening’).

De antwoorden zijn door Kieskompas vertaald in coördinaten die TNO over het politiek landschap van Nederland heeft gelegd.

©Kieskompas/TNO

©Kieskompas/TNO

Resultaten: wisselvalig en niet neutraal

Wat opvalt aan de resultaten is dat de modellen heel wisselvallig zijn ( te zien aan de ingekleurde vlakken) en ook dat de modellen met name links georiënteerd zijn (zie figuren 1 en 2). Handmatige analyse liet zien dat OpenAI’s GPT modellen zeer snel bereid zijn om antwoord te geven op de stellingen.

Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag. Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft het wel zijn mening (zoals ook te zien hieronder).

TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden. Bovendien zijn de modellen van OpenAI consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.

©Kieskompas/TNO

Modellen zijn ondoorzichtig

Doordat niet transparant is hoe de modellen getraind zijn, is het niet te zeggen of een model in een andere context een hele andere mening kan geven. Het is dus onmogelijk om te achterhalen waarom het model tot bepaalde antwoorden komt.

Dat taalmodellen vooringenomenheid en inconsistentie vertonen lijkt misschien onschuldig, maar het kan grote gevolgen hebben. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

GPT-NL: een Nederlands taalmodel

Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit. TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.

Op zoek naar een nieuw scheerapparaat? Op Kieskeurig.nl vind een groot assortiment. Wij bekeken scheerapparaten met roterende koppen met een prijs van onder de 65 euro. De meeste modellen zijn zowel nat als droog te gebruiken en het merendeel van de door ons gevonden scheerapparaten hebben een reviewscore van 7,5 en hoger.

Philips Shaver 3000 Series S3143/00

De Philips Shaver 3000 Series S3143/00 wordt op Kieskeurig.nl aangeboden als elektrisch scheerapparaat voor nat en droog scheren, met roterende scheerkoppen. Het apparaat heeft een opgegeven batterijduur van 60 minuten, maar heeft even lang nodig om volledig op te laden. Het apparaat is afspoelbaar en bedoeld om ook onder de kraan te reinigen.

De messen van dit scheerapparaat zijn zelfslijpend. De Philips Shaver 3000 wordt goed beoordeeld op Kieskeurig.nl: bij dit product staat een gemiddelde score van 9,0, gebaseerd op 56 reviews van gebruikers.

Remington XR1600

Bij de Remington XR1600 zie je meteen dat het om een roterend elektrisch scheerapparaat gaat met een ingestelde minimale haarlengte van 0,02 cm (0,2 mm). De kop werkt met vijf ringen/mesjes en is bedoeld voor heel kort scheren, bijvoorbeeld hoofdhaar of een heel korte stoppel. De voeding loopt via een oplaadbare batterij; bij een volle lading geeft de fabrikant een gebruiksduur van 60 minuten op.

Laden gebeurt in ongeveer een uur via de meegeleverde lader. Dit scheerapparaat kun je nat en droog gebruiken. De XR1600 heeft een geïntegreerde trimmersetfunctie en een minimale verstelbare lengte die gelijk is aan de kortste stand. In de reviewsectie op Kieskeurig.nl wordt een gemiddelde gebruikersscore van 8,2 op basis van zes reviews genoemd.

Remington Style Series R3

Dit model uit de Style Series R3-lijn heeft een scheerunit dat vast is gemonteerd en ontworpen is voor droog scheren. De opgegeven accuduur bedraagt 40 minuten, met een opvallend lange laadtijd van ongeveer 4 uur via netstroom.

Deze Remington is afspoelbaar onder de kraan en is voorzien van een geïntegreerde precisietrimmer voor het bijwerken van randen. op Kieskeurig.nl krijgt de Remington Style Series R3 een gemiddelde gebruikersscore van 7,5 op basis van 14 reviews.

Philips Shaver Series 1000 S1142/00

De Philips Shaver Series 1000 S1142/00 is een model in de lagere nummerreeks van Philips en is eigenlijk een scheerkit. De batterijduur van deze shaver is rond de 40 minuten, maar heeft maar liefst 8 uur nodig om volledig opgeladen te worden.

De kop is opgebouwd uit drie ringen. Het scheerapparaat is onder de kraan af te spoelen en dus ook geschikt voor nat scheren; bij de accessoires vinden we een extra beschermkapje

Remington PR1350 PowerSeries Plus

Bij de Remington PR1350 gaat het om een PowerSeries-model met drie roterende scheerringen. In de productspecificaties op Kieskeurig.nl staat dat dit een draadloos te gebruiken elektrisch scheerapparaat is voor droog scheren, met een opgegeven accuduur van 40 minuten en een laadtijd van ongeveer 4 uur. Er zit een geïntegreerde precisietrimmer op.

De shaver is verder waterdicht, waardoor je de kop onder de kraan kunt reinigen. In de productinformatie is verder opgenomen dat het apparaat op een ingebouwde accu/netstroom werkt en dat er een gebruikshandleiding wordt meegeleverd. Op de reviewpagina van Kieskeurig.nl staat een gemiddelde beoordeling van 8,5, gebaseerd op 61 goedgekeurde reviews.

Guerrilla Games en Sony hebben vanmiddag de coöperatieve actiegame Horizon Hunters Gathering aangekondigd, een nieuwe game binnen de Horizon-reeks.

Het spel, dat op een nog onbekend moment op PlayStation 5 en pc uitkomt, was enkele jaren geleden al deels gelekt. Toen was al bekend dat de game een speelser uiterlijk zou krijgen dan de wat volwassener vormgegeven Horizon-hoofddelen.

Op PlayStation Blog wordt gemeld dat spelers met z'n drieën een team kunnen vormen en als Hunters de wereld kunnen beschermen van dodelijke machines. De setting blijft daarbij gelijk aan eerdere games uit de reeks van de Amsterdamse ontwikkelaar. Het is daarnaast ook mogelijk om de game alleen te spelen, of om een team met computergestuurde personages samen te stellen.

Verschillende modi en Hunters

Er zijn twee verschillende modi onthuld. In Machine Incursion is het de bedoeling dat spelers het opnemen tegen golven aan machines, gevolgd door een eindbaas, terwijl Cauldron Descent langere potjes omslaat met constant veranderende ruimtes die het uiterste van spelers vragen.

Spelers kunnen kiezen uit een uniek aantal Hunters, elk met hun eigen speelstijl, zoals mêlee of van een afstand aanvallen. Tussen missies waarbij er gejaagd wordt op machines door kan men socializen in de Hunters Gathering, waar men ook hun personages kan aanpassen, aankopen kan doen en gear kan upgraden.

Aankomende februari wordt een kleinschalige speeltest gehouden, waarvoor mensen zich kunnen aanmelden via het PlayStation Beta Program. In deze test zal het overigens alleen mogelijk zijn om in teamverband te spelen. Een releasedatum voor de uiteindelijke versie van het spel is nog niet bekend.

Over de Horizon-reeks

Horizon Zero Dawn verscheen in 2017 en is zoals gezegd ontwikkeld door het in Amsterdam gevestigde Guerrilla Games. Sindsdien is ook vervolg Horizon Forbidden West uitgekomen, alsmede vr-spel Horizon: Call of the Mountain en Lego Horizon Adventures. Voor het origineel is ook een remaster op de PS5 en pc verschenen.

Ondertussen werkt NCSoft in samenwerking met Sony ook aan Horizon Steel Frontiers, een mmorpg gebaseerd op de franchise die op een nog onbekend moment naar pc, iOS en Android komt.