Taalmodellen als ChatGPT zijn razendsnel populair geworden. Ze helpen mensen bij veel leeswerk, zoals het samenvatten zoals de verschillende standpunten van onze nationale politieke partijen. Maar hoe betrouwbaar en onbevooroordeeld zijn ze? TNO en Kieskompas hebben een experiment uitgevoerd om dat uit te zoeken.

In het experiment lieten TNO en Kieskompas verschillende taalmodellen de vragen van de stemhulp van het Kieskompas 2023 meerdere malen beantwoorden. De modellen blijken niet helemaal onbevooroordeeld: ze komen uit aan de linkerkant van het politieke spectrum. Daarnaast geven ze niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag.

Welke AI-modellen zijn onderzocht?

Aan de hand van populariteit, beschikbaarheid, toegankelijkheid en herkomst zijn zijn de volgende vijf generatieve AI-taalmodellen geselecteerd: Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is geprepareerd voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Hoe ging het experiment in zijn werk?

Modellen kunnen naast direct een vraag beantwoorden ook gebruik maken van context. Wanneer er context wordt toegevoegd, geeft dat de modellen een indicatie hoe de gebruiker de antwoorden graag wil terugzien, waardoor er soms beter resultaat teruggegeven wordt. Vandaar dat elk model getoetst is mét en zonder contextuele toevoegingen. Ze begrijpen bijvoorbeeld beter wat voor antwoord er van ze verwacht worden als ze al een voorbeeld gehad hebben van een vraag met een antwoord dat binnen de keuzemogelijkheid van het Kieskompas valt (‘Helemaal mee eens’, ‘Mee eens’, ‘Neutraal’, ‘Niet mee eens’, ‘Helemaal niet mee eens’ en ‘Geen mening’).

De antwoorden zijn door Kieskompas vertaald in coördinaten die TNO over het politiek landschap van Nederland heeft gelegd.

©Kieskompas/TNO

©Kieskompas/TNO

Resultaten: wisselvalig en niet neutraal

Wat opvalt aan de resultaten is dat de modellen heel wisselvallig zijn ( te zien aan de ingekleurde vlakken) en ook dat de modellen met name links georiënteerd zijn (zie figuren 1 en 2). Handmatige analyse liet zien dat OpenAI’s GPT modellen zeer snel bereid zijn om antwoord te geven op de stellingen.

Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag. Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft het wel zijn mening (zoals ook te zien hieronder).

TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden. Bovendien zijn de modellen van OpenAI consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.

©Kieskompas/TNO

Modellen zijn ondoorzichtig

Doordat niet transparant is hoe de modellen getraind zijn, is het niet te zeggen of een model in een andere context een hele andere mening kan geven. Het is dus onmogelijk om te achterhalen waarom het model tot bepaalde antwoorden komt.

Dat taalmodellen vooringenomenheid en inconsistentie vertonen lijkt misschien onschuldig, maar het kan grote gevolgen hebben. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

GPT-NL: een Nederlands taalmodel

Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit. TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.

De Huawei Freeclip 2 is een opmerkelijke set oordopjes. Niet alleen omdat je ze om je oren draagt, alsof het oorbellen met clipjes zijn, maar omdat er een bijzonder verrassend geluid uit komt, ondanks dat compacte formaat. Het grootste minpunt? De prijs…

Het kan zijn dat het ontwerp van de Huawei Freeclip 2 je nog niet bekend voorkomt. Toch bestaat dit soort oordopjes al een tijdje. Niet alleen in de vorm van de voorganger van dit model; Motorola heeft bijvoorbeeld de Buds Loop, terwijl JBL eerder de Soundgear Clips aankondigde. Desondanks geniet de productcategorie nog weinig populariteit. Waarschijnlijk vanwege de iets minder audiokwaliteit en iets hogere aanschafprijs in vergelijking met 'normale' oortjes.

De Huawei Freeclip 2 valt (net als zijn soortgenoten) onder de categorie open-ear-oordopjes (en subcategorie C-bridge). Dat betekent dat ze niet ín je oren gaan, maar net boven de gehoorgang hangen en de muziek als het ware de opening in blazen. Daardoor blijf je goed in contact met je directe omgeving terwijl je naar je eigen muziek luistert, en anderen hebben daar weinig last van: er lekt soms wat geluid weg, maar meestal zo zacht dat het nauwelijks stoort.

©Wesley Akkerman

Verbeteringen Huawei Freeclip 2

Mocht je al weg bekend zijn met de Huawei Freeclip, dan is het goed om even kort te verbeteringen te bespreken. Deze set beschikt bijvoorbeeld over adaptieve audio, waardoor hij het volumeniveau aan de omgevingsgeluiden kan aanpassen. Daarnaast kun je de hardware bedienen met zowel tik- als veegbewegingen. De batterijen houden het één uur langer vol (nu negen uur) en het oplaadhoesje gaat twee uur langer mee (nu in totaal 38 uur).

Ook mooi meegenomen: de oorhangers wegen ongeveer elf procent minder dan de eerste variant, terwijl Huawei niet inleverde op audiokwaliteit. Sterker nog: die is er op vooruitgegaan. Muziek klinkt over het algemeen helder en fris en als je binnen de bijbehorende app de equalizer gebruikt, ook nog eens warm en omhelzend. De bas kan soms wat scherp klinken en er treedt enige vervorming op na het gebruik van die equalizer, maar dit valt allemaal binnen de verwachting.

©Wesley Akkerman

De afweging maken

Je kunt van een set open-ear-dopjes namelijk niet dezelfde audiokwaliteit verwachten als van oordoppen die daadwerkelijk je gehoorgang ingaan en de boel netjes afsluiten. Desondanks zijn we onder de indruk van de audiokwaliteit. Je favoriete tunes klinken aangenaam en vertrouwd; een groter compliment kunnen we open-ear-setjes niet geven. Onze ervaringen met andere merken dopjes laten qua audio nog wel eens wat te wensen over, maar hier vallen veel negatieve ervaringen weg.

Zoals gezegd klinkt de audio niet perfect. Je mist soms wat detail en ook de bredere soundstage die je krijgt met oordoppen die je afsluiten van de wereld. De vraag is alleen: maakt dat in de praktijk veel uit? Meestal niet, want met open-ear-modellen kies je bewust voor die balans. Je levert iets in op geluidskwaliteit, maar je blijft je omgeving horen. Daardoor lenen dit soort sets zich perfect lenen voor bijvoorbeeld fietsers en wanneer je in de sportschool bent: momenten waarop je niet helemaal afgesloten wilt zijn van de buitenwereld.

©Wesley Akkerman

Draagcomfort is top, bediening laat steken vallen

Verder zitten de Huawei FreeClip 2-oortjes opvallend prettig. Je hangt ze als het ware aan je oor en schuift ze daarna simpelweg naar de plek die voor jou goed voelt. Zitten ze hoger fijner, dan zet je ze iets omhoog. Liever wat lager, dan laat je ze wat meer zakken. Fijn is ook dat ze bij de meeste oorbellen niet in de weg zitten, dus je hebt best veel speelruimte voor de pasvorm. En als leuke extra: ze vallen op als een soort sieraad – je oogt meteen wat modieuzer met deze dingen.

Dat gezegd hebbende zijn we minder te spreken over de fysieke bediening. Het is fijn dat je kunt vegen en tikken, maar juist dat tikken op de dunne rand (de C-brug) werkt minder betrouwbaar dan je hoopt. Eén tik doet gelukkig niets, want die maak je soms al per ongeluk. Alleen: als je wél bewust een tik- of drukbeweging probeert te doen, pakt de brug dat lang niet altijd. Of je nu net te zacht drukt of net niet snel genoeg bent, het resultaat is hetzelfde: we grepen uiteindelijk toch steeds naar onze smartphone om te pauzeren, te skippen of het volume aan te passen.

Daarnaast helpt het ook niet dat je voor Huawei-producten apps moet downloaden die niet gewoon in de Google Play Store staan. Je moet eerst AppGallery van Huawei downloaden en vervolgens AI Life installeren. Android geeft zelfs een flinke waarschuwing en dat voelt niet bepaald geruststellend. Ga je toch door, dan krijg je wel een overzichtelijke manier om de Huawei FreeClip 2 te beheren. Aan de app zelf ligt het dus niet.

Huawei Freeclip 2 kopen?

Met een prijskaartje van pakweg 200 euro moet je diep in de buidel tasten voor de Huawei Freeclip 2. Maar daar krijg je dan ook wel de meest comfortabele open-ear-oordoppen van dit moment voor terug. Koppel dat aan een warme en vertrouwde audiobeleving en je houdt een set over die in deze categorie zijn weerga niet kent. Het gedoe met de app en de bediening is vervelend, zeker op dit prijspunt, dus hopelijk doet de fabrikant daar nog iets mee.

Microsoft heeft de Xbox Game Pass-titels van de komende wekend aangekondigd. Onder de games die naar de dienst komen valt ook Death Stranding: Director's Cut, die sinds vandaag op Game Pass staat.

De nieuwe Xbox Game Pass-toevoegingen werd via Xbox Wire aangekondigd. Daar valt ook meer informatie over de verschillende games die naar de abonnementsdienst komen te lezen.

Death Stranding

De Director's Cut van Death Stranding is daarbij een van de meest opvallende toevoegingen. Het spel van Hideo Kojima kwam in eerste instantie alleen op PlayStation-consoles uit, maar kwam daarna ook naar Xbox. Kojima bedacht hiervoor de Metal Gear-reeks en staat bekend om zijn vaak duizelingwekkende concepten en haast onnavolgbare verhalen in zijn games. Inmiddels is ook een vervolg op Death Stranding uitgekomen op PlayStation 5, maar die is nog niet op andere platforms beschikbaar.

In Death Stranding maken we kennis met een Amerika dat uit elkaar is gevallen doordat de grens tussen deze wereld en het dodenrijk vervaagt. De wereld wordt geteisterd door unieke regenbuien die niet alleen levende wezens en materialen in extreem snel tempo verouderen, maar ook een soort geesten (BT's) laten verschijnen. Als gevolg hiervan is de samenleving in de VS uit elkaar gevallen en zijn de overgebleven steden afgesloten, vaak ondergrondse forten die geen contact met elkaar hebben.

Spelers besturen Sam Porter Bridges - gespeeld door The Walking Dead-ster Norman Reedus - die door Amerika trekt en pakketjes tussen de verschillende vestigingen vervoert. Ondertussen probeert hij de steden aan een netwerk te verbinden, zodat de samenleving langzaam maar zeker weer in contact met elkaar komt en materialen kunnen uitwisselen via het netwerk. Sam heeft daarnaast de unieke eigenschap de hierboven genoemde BT's te zien. Hij weet zelfs wanneer hij ze nadert doordat hij een speciale baby bij zich draagt met soortgelijke paranormale gaven.

De Xbox Games Pass-toevoegingen

Hieronder zijn alle toevoegingen aan Xbox Game Pass van de komende weken te zien.

Deze games verdwijnen op 31 januari van Xbox Game Pass: