Taalmodellen als ChatGPT zijn razendsnel populair geworden. Ze helpen mensen bij veel leeswerk, zoals het samenvatten zoals de verschillende standpunten van onze nationale politieke partijen. Maar hoe betrouwbaar en onbevooroordeeld zijn ze? TNO en Kieskompas hebben een experiment uitgevoerd om dat uit te zoeken.

In het experiment lieten TNO en Kieskompas verschillende taalmodellen de vragen van de stemhulp van het Kieskompas 2023 meerdere malen beantwoorden. De modellen blijken niet helemaal onbevooroordeeld: ze komen uit aan de linkerkant van het politieke spectrum. Daarnaast geven ze niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag.

Welke AI-modellen zijn onderzocht?

Aan de hand van populariteit, beschikbaarheid, toegankelijkheid en herkomst zijn zijn de volgende vijf generatieve AI-taalmodellen geselecteerd: Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is geprepareerd voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Hoe ging het experiment in zijn werk?

Modellen kunnen naast direct een vraag beantwoorden ook gebruik maken van context. Wanneer er context wordt toegevoegd, geeft dat de modellen een indicatie hoe de gebruiker de antwoorden graag wil terugzien, waardoor er soms beter resultaat teruggegeven wordt. Vandaar dat elk model getoetst is mét en zonder contextuele toevoegingen. Ze begrijpen bijvoorbeeld beter wat voor antwoord er van ze verwacht worden als ze al een voorbeeld gehad hebben van een vraag met een antwoord dat binnen de keuzemogelijkheid van het Kieskompas valt (‘Helemaal mee eens’, ‘Mee eens’, ‘Neutraal’, ‘Niet mee eens’, ‘Helemaal niet mee eens’ en ‘Geen mening’).

De antwoorden zijn door Kieskompas vertaald in coördinaten die TNO over het politiek landschap van Nederland heeft gelegd.

©Kieskompas/TNO

©Kieskompas/TNO

Resultaten: wisselvalig en niet neutraal

Wat opvalt aan de resultaten is dat de modellen heel wisselvallig zijn ( te zien aan de ingekleurde vlakken) en ook dat de modellen met name links georiënteerd zijn (zie figuren 1 en 2). Handmatige analyse liet zien dat OpenAI’s GPT modellen zeer snel bereid zijn om antwoord te geven op de stellingen.

Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag. Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft het wel zijn mening (zoals ook te zien hieronder).

TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden. Bovendien zijn de modellen van OpenAI consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.

©Kieskompas/TNO

Modellen zijn ondoorzichtig

Doordat niet transparant is hoe de modellen getraind zijn, is het niet te zeggen of een model in een andere context een hele andere mening kan geven. Het is dus onmogelijk om te achterhalen waarom het model tot bepaalde antwoorden komt.

Dat taalmodellen vooringenomenheid en inconsistentie vertonen lijkt misschien onschuldig, maar het kan grote gevolgen hebben. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

GPT-NL: een Nederlands taalmodel

Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit. TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.

Vanaf vandag biedt KLM tijdens diverse Europese vluchten gratis wifi aan voor Flying Blue-leden.

Dat kondigde het bedrijf gisteren aan. Ongeveer de helft van de Europese vluchten van de luchtvaartmaatschappij binnen Europa heeft vanaf vandaag gratis wifi. In de komende jaren moet er gratis, onbeperkt internet beschikbaar komen in alle A321neo's, E2 's en een deel van de B737-800's.

Internet tijdens KLM-vluchten was al een tijdlang beschikbaar, maar voorheen moesten passagiers een wifipas kopen om daar gebruik van te maken. Wifi is nu dus gratis in een gedeelte van de Europese vluchten, maar daar is wel een lidmaatschap op Flying Blue voor nodig. Dit lidmaatschap is echter geheel gratis af te sluiten.

Entertainment naar eigen invulling

Bij Europese vluchten zijn er geen entertainmentschermen aanwezig. Het is dan ook niet mogelijk om bijvoorbeeld films te bekijken via een scherm op de achterkant van passagiersstoelen. Dankzij de gratis wifi kunnen passagiers zichzelf toch vermaken tijdens vluchten. Zo kan men wifi gebruiken om op eigen apparaten (zoals laptops of smartphones) te e-mailen, internetten, muziek te luisteren, gamen of films te streamen.

"We luisteren goed naar wat onze passagiers belangrijk vinden en gratis internet stond al een tijdje op hun wensenlijst", zo stelt Stephanie Putzeist van de klantbeleving van KLM. "Met deze stap maken we de reis binnen Europa persoonlijker en comfortabeler: iedereen kan zijn vlucht op zijn eigen manier invullen en verbonden blijven. We zijn verheugd dat we dit nu voor onze passagiers mogelijk maken."

De Franse game-uitgever en -ontwikkelaar Ubisoft heeft een grootschalige reorganisatie van het bedrijf aangekondigd. Daarbij zijn diverse games geannuleerd, waaronder de aangekondigde remake van Prince of Persia: The Sands of Time.

De PlayStation 5-, Xbox Series- en pc-remake van de game die oorspronkelijk op GameCube, PlayStation 2 en Xbox verscheen werd in 2020 aangekondigd en werd daarna meerdere malen uitgesteld. Hoewel de game eerst in ontwikkeling was bij Ubisoft Mumbai, werd de ontwikkeling herstart bij Ubisoft Montreal. Ubisoft gaf eerder aan dat het spel voor april dit jaar uit zou komen, maar nu is het dus geannuleerd.

In een statement op social media liet het ontwikkelteam van de Prince of Persia-remake weten op de hoogte te zijn dat de aankondiging een grote teleurstelling is voor fans. "Het project had echte potentie, maar we konden niet het niveau van kwaliteit bereiken die jullie verdienen, en doorgaan met de ontwikkeling zou meer tijd en investeringen kosten dan dat we op verantwoordelijke wijze konden spenderen. We wilden niet iets uitbrengen dat tekort zou doen aan wat The Sands of Time representeert."

Nog meer geannuleerde en uitgestelde games

Ubisoft heeft in totaal zes games geannuleerd. Welke games de vijf andere geannuleerde titels zijn is niet bekend. Wel is duidelijk dat vier van de games onaangekondigd zijn, en drie om compleet nieuwe IP's gingen.

Ook zijn er zeven andere games uitgesteld. Ook daarvan is niet bekend om welke games het gaat, al gaan er geruchten dat een ervan de nog altijd onaangekondigde remake van Assassin's Creed 4: Black Flag betreft. Die game zou nu volgens de geruchten ergens voor april 2027 uitkomen. Insider Gaming meldt daarnaast dat Beyond Good and Evil 2, dat al vele jaren in ontwikkeling is, dat nog altijd blijft en dus niet is geannuleerd.

Een nieuwe bedrijfsstructuur

Ubisoft noemt de reorganisatie een "grote organisatorische, operationele en portfolio-reset". Daarbij wil het bedrijf nog meer letten op de kwaliteit die het uitgeeft. Ubisofts nieuwe model gaat zich richten op verschillende 'creatieve huizen' die zich elk met andere soorten games bezighouden. Het gaat om de volgende divisies:

Ubisoft laat ook weten dat het vier nieuwe IP's in ontwikkeling heeft, waaronder de onlangs aangekochte moba March of Giants. Die game wordt op een later moment toegekend aan een van de creatieve huizen. Elk van de creatieve huizen zal volgens Ubisoft relatief onafhankelijk opereren, met een eigen leiderschap en eindverantwoordelijkheid.

Geen thuiswerken meer en gesloten studio's

Ubisoft heeft daarnaast aangekondigd dat het thuiswerken niet meer toelaat en dat alle werknemers worden geacht om fulltime op kantoor aanwezig te zijn. Wel krijgen werknemers een "een jaarlijkse toelage bestaande uit thuiswerkdagen". Volgens het bedrijf zorgt dit er voor dat er "collectieve efficiëntie, creativiteit en succes" plaatsvindt.

Twee studio's van Ubisoft sluiten hun deuren: de studio's in Halifax en Stockholm. Dit werd onlangs al aangekondigd. Ubisoft overweegt daarna om "andere assets" te verkopen, maar gaf geen verdere details. Gedurende de volgende twee jaren wil het bedrijf nog eens 200 miljoen euro besparen.

Ubisoft heeft de laatste jaren wisselend succes met zijn games. Zo viel de verkoop van het miljoenenproject Star Wars Outlaws tegen. Zover bekend is het begin vorig jaar uitgekomen Assassin's Creed Shadows wel een verkoopsucces.