Taalmodellen als ChatGPT zijn razendsnel populair geworden. Ze helpen mensen bij veel leeswerk, zoals het samenvatten zoals de verschillende standpunten van onze nationale politieke partijen. Maar hoe betrouwbaar en onbevooroordeeld zijn ze? TNO en Kieskompas hebben een experiment uitgevoerd om dat uit te zoeken.

In het experiment lieten TNO en Kieskompas verschillende taalmodellen de vragen van de stemhulp van het Kieskompas 2023 meerdere malen beantwoorden. De modellen blijken niet helemaal onbevooroordeeld: ze komen uit aan de linkerkant van het politieke spectrum. Daarnaast geven ze niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag.

Welke AI-modellen zijn onderzocht?

Aan de hand van populariteit, beschikbaarheid, toegankelijkheid en herkomst zijn zijn de volgende vijf generatieve AI-taalmodellen geselecteerd: Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is geprepareerd voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Hoe ging het experiment in zijn werk?

Modellen kunnen naast direct een vraag beantwoorden ook gebruik maken van context. Wanneer er context wordt toegevoegd, geeft dat de modellen een indicatie hoe de gebruiker de antwoorden graag wil terugzien, waardoor er soms beter resultaat teruggegeven wordt. Vandaar dat elk model getoetst is mét en zonder contextuele toevoegingen. Ze begrijpen bijvoorbeeld beter wat voor antwoord er van ze verwacht worden als ze al een voorbeeld gehad hebben van een vraag met een antwoord dat binnen de keuzemogelijkheid van het Kieskompas valt (‘Helemaal mee eens’, ‘Mee eens’, ‘Neutraal’, ‘Niet mee eens’, ‘Helemaal niet mee eens’ en ‘Geen mening’).

De antwoorden zijn door Kieskompas vertaald in coördinaten die TNO over het politiek landschap van Nederland heeft gelegd.

©Kieskompas/TNO

©Kieskompas/TNO

Resultaten: wisselvalig en niet neutraal

Wat opvalt aan de resultaten is dat de modellen heel wisselvallig zijn ( te zien aan de ingekleurde vlakken) en ook dat de modellen met name links georiënteerd zijn (zie figuren 1 en 2). Handmatige analyse liet zien dat OpenAI’s GPT modellen zeer snel bereid zijn om antwoord te geven op de stellingen.

Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag. Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft het wel zijn mening (zoals ook te zien hieronder).

TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden. Bovendien zijn de modellen van OpenAI consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.

©Kieskompas/TNO

Modellen zijn ondoorzichtig

Doordat niet transparant is hoe de modellen getraind zijn, is het niet te zeggen of een model in een andere context een hele andere mening kan geven. Het is dus onmogelijk om te achterhalen waarom het model tot bepaalde antwoorden komt.

Dat taalmodellen vooringenomenheid en inconsistentie vertonen lijkt misschien onschuldig, maar het kan grote gevolgen hebben. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

GPT-NL: een Nederlands taalmodel

Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit. TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.

AGON by AOC breidt zijn G4-serie uit met twee snelle instapmonitors voor competitieve games: de AOC GAMING 24G4ZR (23,8 inch) en 27G4ZR (27 inch). Beide modellen combineren een Fast IPS-paneel met een verversingssnelheid tot 260 Hz (240 Hz standaard) en een lage bewegingsonscherpte.

De nieuwe G4ZR-modellen richten zich op gamers die vooral snelheid zoeken, maar tegelijkertijd op hun budget willen (of moeten) letten. AOC zet de monitors standaard op 240 Hz en laat je optioneel naar 260 Hz overklokken via het OSD-menu of de G-Menu-software. De responstijden worden opgegeven als 1 ms GtG en 0,3 ms MPRT, waarbij die laatste waarde vooral iets zegt over bewegingsscherpte met backlight-strobing ingeschakeld.

Voor vloeiend beeld ondersteunen de 24G4ZR en 27G4ZR Adaptive-Sync en zijn ze volgens AOC NVIDIA G-SYNC-compatibel. Ook is er MBR Sync, waarmee variabele verversingssnelheid en backlight-strobing tegelijk gebruikt kunnen worden. Dat moet tearing en haperingen tegengaan, terwijl snelle bewegingen scherper blijven.

©AGON by AOC

Beeldkwaliteit, standaard en aansluitingen

Qua beeldkwaliteit kiest AOC voor Fast IPS, wat doorgaans snellere pixelovergangen combineert met IPS-eigenschappen zoals brede kijkhoeken. De 27-inch variant haalt volgens AOC 121,5% sRGB en 92,3% DCI-P3; de 23,8-inch versie 111,7% sRGB en 87,7% DCI-P3. De helderheid is 300 cd/m² en de kijkhoeken zijn 178 graden, zodat kleuren ook bij een schuine kijkpositie redelijk consistent blijven.

De ZR-modellen krijgen een volledig verstelbare standaard met 130 mm hoogteverstelling, plus kantelen, draaien en pivot. Handig als je je schermhoogte en -hoek precies wilt afstellen voor lange sessies. Daarnaast zijn de monitoren VESA 100x100-compatibel voor een arm- of wandmontage. Aansluiten kan via 2x HDMI 2.0 en 1x DisplayPort 1.4. Verder noemt AOC flicker-free en een hardwarematige low blue light-stand om vermoeide ogen te beperken.

©AGON by AOC

Naast de twee nieuwe modellen komen later ook varianten met een eenvoudiger voet die alleen kan kantelen: de 24G4ZRE en 27G4ZRE. Die gebruiken volgens AOC hetzelfde paneel en dezelfde snelheidsspecificaties, maar zijn bedoeld voor wie geen uitgebreide ergonomie nodig heeft.

Beschikbaarheid en prijzen

De AOC GAMING 24G4ZR, 27G4ZR, 24G4ZRE en 27G4ZRE hebben de volgende adviesprijzen: de 24G4ZR kost 149 euro en de 27G4ZR 169 euro. De tilt-only varianten zijn goedkoper: 129 euro voor de 24G4ZRE en 149 euro voor de 27G4ZRE.

Het Zuid-Koreaanse zou een shooter gebaseerd op Starcraft in ontwikkeling hebben voor IP-eigenaar Blizzard.

Dat claimt The Korean Economic Daily. Een team binnen Nexon dat gespecialiseerd is in shooters zou zich op dit moment volledig richten op de nog onaangekondigde game. De ontwikkeling zou nog niet lang geleden zijn gestart, en dus zou de shooter nog lang op zich laten wachten.

Verdere details zijn er nog niet, behalve dat Choi Jun-ho ook bij het project betrokken zou zijn. Hij maakte eerder de populaire Shinppu-mapmod voor Starcraft.

Starcraft

Er gaan al langer geruchten over een shooter gebaseerd op Starcraft. Vorig jaar meldde Bloomberg-journalist Jason Schreier al in zijn boek 'Play Nice: The Rise, Fall and Future of Blizzard Entertainment' dat Blizzard aan een shooter zou werken. Volgens Schreier is de shooter van Nexon echter niet gerelateerd aan de shooter van Blizzard - het zouden om twee afzonderlijke projecten gaan.

De Starcraft-reeks bestaat uit real-time strategygames. De eerste verscheen in 1998, en een vervolg kwam in 2010 uit. Blizzard heeft al vaker geprobeerd shooters gebaseerd op de Starcraft-franchise te maken, maar die werden vooralsnog altijd geannuleerd.

Mogelijke onthulling op Blizzcon

Voor het eerst in enkele jaren organiseert Blizzard op 12 en 13 december de Amerikaanse beurs Blizzcon, waar alles rondom de uitgever wordt gevierd. Het is mogelijk dat één van de hierboven genoemde shooters daar wordt onthuld.