Taalmodellen als ChatGPT zijn razendsnel populair geworden. Ze helpen mensen bij veel leeswerk, zoals het samenvatten zoals de verschillende standpunten van onze nationale politieke partijen. Maar hoe betrouwbaar en onbevooroordeeld zijn ze? TNO en Kieskompas hebben een experiment uitgevoerd om dat uit te zoeken.

In het experiment lieten TNO en Kieskompas verschillende taalmodellen de vragen van de stemhulp van het Kieskompas 2023 meerdere malen beantwoorden. De modellen blijken niet helemaal onbevooroordeeld: ze komen uit aan de linkerkant van het politieke spectrum. Daarnaast geven ze niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag.

Welke AI-modellen zijn onderzocht?

Aan de hand van populariteit, beschikbaarheid, toegankelijkheid en herkomst zijn zijn de volgende vijf generatieve AI-taalmodellen geselecteerd: Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is geprepareerd voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Hoe ging het experiment in zijn werk?

Modellen kunnen naast direct een vraag beantwoorden ook gebruik maken van context. Wanneer er context wordt toegevoegd, geeft dat de modellen een indicatie hoe de gebruiker de antwoorden graag wil terugzien, waardoor er soms beter resultaat teruggegeven wordt. Vandaar dat elk model getoetst is mét en zonder contextuele toevoegingen. Ze begrijpen bijvoorbeeld beter wat voor antwoord er van ze verwacht worden als ze al een voorbeeld gehad hebben van een vraag met een antwoord dat binnen de keuzemogelijkheid van het Kieskompas valt (‘Helemaal mee eens’, ‘Mee eens’, ‘Neutraal’, ‘Niet mee eens’, ‘Helemaal niet mee eens’ en ‘Geen mening’).

De antwoorden zijn door Kieskompas vertaald in coördinaten die TNO over het politiek landschap van Nederland heeft gelegd.

©Kieskompas/TNO

©Kieskompas/TNO

Resultaten: wisselvalig en niet neutraal

Wat opvalt aan de resultaten is dat de modellen heel wisselvallig zijn ( te zien aan de ingekleurde vlakken) en ook dat de modellen met name links georiënteerd zijn (zie figuren 1 en 2). Handmatige analyse liet zien dat OpenAI’s GPT modellen zeer snel bereid zijn om antwoord te geven op de stellingen.

Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag. Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft het wel zijn mening (zoals ook te zien hieronder).

TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden. Bovendien zijn de modellen van OpenAI consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.

©Kieskompas/TNO

Modellen zijn ondoorzichtig

Doordat niet transparant is hoe de modellen getraind zijn, is het niet te zeggen of een model in een andere context een hele andere mening kan geven. Het is dus onmogelijk om te achterhalen waarom het model tot bepaalde antwoorden komt.

Dat taalmodellen vooringenomenheid en inconsistentie vertonen lijkt misschien onschuldig, maar het kan grote gevolgen hebben. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

GPT-NL: een Nederlands taalmodel

Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit. TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.

Teufel komt met een nieuwe generatie van zijn Airy Sports TWS. Deze tweede versie is beschikbaar in meerdere kleuren en voorzien van een hogere IP-classificatie (IPx4). Een andere verbetering is dat je in een mobiele app naar eigen wens de audio-instellingen kunt aanpassen. Maar de opvallendste vernieuwing is de toevoeging van noise cancelling. Tijd voor een praktijktest.

De Berlijnse audiospecialist heeft aan het uiterlijk van de Teufel Airy Sports TWS 2 niet veel veranderd. Het door ons geteste zwarte model bevat aan de buitenzijde van elk oordopje een iets onopvallender Teufel-logo. Daarnaast zijn de oorhaken iets korter en zitten de magneetpunten op een andere plek. Via deze magneetpunten laden de ingebouwde accu's op. De opbergcase heeft zelf ook een accu met een capaciteit van 750 mAh. Die kun je met de inbegrepen usb-c-kabel bijladen. Helaas is dit snoertje met een lengte van nog geen dertig centimeter erg kort.

©Maikel Dijkhuizen

Draagcomfort

Elk oor is anders en dat begrijpt Teufel maar al te goed. Het merk levert maar liefst vijf setjes siliconen oordoppen mee. Je verwisselt ze eenvoudig, waardoor iedere persoon de juiste pasvorm kan kiezen. Nadat je de Airy Sports TWS 2 aan een bluetooth-bron hebt gekoppeld, haal je de in-ears uit de oplaadcase. Dankzij de flexibele oorhaken blijven de oordoppen prima op hun plek zitten. Ook tijdens het sporten zitten de luisterapparaatjes als gegoten, want de in-ears gaan bij lichamelijke inspanning niet wiebelen. Wegens de prettige pasvorm en het lichte gewicht voel je amper dat je ze in hebt.

©Maikel Dijkhuizen

Bediening

Voor de bediening beschikken beide in-ears aan de buitenzijde over een aanraakpaneeltje. De werking is even wennen, want de linker- en rechterkant herbergen verschillende functies. Tik bijvoorbeeld aan de rechterkant tweemaal om een liedje te skippen en tik links twee keer om naar het vorige liedje te gaan. Je drukt tijdelijk op de behuizing om het volume te wijzigen. Met driemaal tikken kun je de transparantiemodus (links) of noise cancelling (rechts) activeren. Tot slot neem je simpel inkomende gesprekken aan, waarna je handsfree kunt bellen. Zodra je alle functies eenmaal onder de knie hebt, voelt de bediening intuïtief aan. De bijgevoegde handleiding bevat voor alle beschikbare opties duidelijke instructies.

Geluidskwaliteit

De Airy Sports TWS 2 levert zowel op lage als hoge volumes een helder geluid. Muziek klinkt erg levendig waarbij luisteraars een duidelijk stereobeeld kunnen horen. Vrouwelijke en mannelijke stemmen zijn duidelijk te verstaan, waardoor je podcasts, audioboeken en radio-uitzendingen moeiteloos kunt volgen. De in-ears sluiten je oren namelijk goed af van de omgeving. Daarnaast kun je natuurlijk noise cancelling inschakelen, maar deze functie zorgt slechts voor een bescheiden demping van de lage tonen in jouw omgeving. Je hoort omringende geluiden hierdoor een fractie zachter.

Met de standaardinstellingen laten de bassen zich niet zo nadrukkelijk gelden. Vind je een diepere laagweergave prettig, dan loont het de moeite om de Teufel Go-app te installeren. Kies vervolgens de geluidsinstelling Bass Boost en ervaar een steviger geluid. Overigens zijn er nog meer audio-opties beschikbaar, namelijk Podcast, Techno, Pop, Treble boost, Rock en Klassiek. Bovendien pas je de equalizerinstellingen eventueel handmatig aan. Kortom, genoeg mogelijkheden om het geluid naar je hand te zetten.

Gebruikers kunnen in de app ook nog noise cancelling of de transparantiemodus activeren. Laatstgenoemde functie laat geluid van buitenaf door, zodat je tijdens het luisteren soepel een gesprek kunt voeren. Verder toont de app de resterende batterijcapaciteit van elk oordopje en de huidige firmware-versie. Als er een nieuwe software-update verschijnt, kun je die meteen installeren.

©Maikel Dijkhuizen

Teufel Airy Sports TWS 2 kopen?

Als je van de noise cancelling-functie geen wonderen verwacht, is de Teufel Airy Sports TWS 2 een interessant product voor actievelingen. Tijdens het wandelen, hardlopen, fitnessen en fietsen blijven de oordopjes goed zitten. Fijn is dat je tijdens al die activiteiten muziek, podcasts en luisterboeken makkelijk kunt bedienen via de aanraakpaneeltjes. Ten slotte is ook de audiokwaliteit dik in orde. Al met al vinden we de adviesprijs van 119,99 euro voor dit kwalitatieve setje in-ears gerechtvaardigd.

Catherine O'Hara, de actrice die onder andere bekend is van haar rol in de eerste twee Home Alone-films, is op 71-jarige leeftijd overleden.

Ze kwam in haar huis te Los Angeles te overlijden na een korte ziekte. Het internet stond gisteren vol met mooie herinneringen aan O'Hara van collega-acteurs en anderen uit het acteervak.

De Canadees-Amerikaanse actrice was vooral bekend om haar rol als moeder van hoofdpersonage Kevin McCallister in de eerste twee Home Alone-films. Ook haar rol als Delia Deetz in de gotische Tim Burton-film Beetlejuice was bekend.

De laatste jaren kreeg O'Hara's carrière een tweede leven dankzij haar rol in de sitcom Schitt's Creek, alsmede in het vervolg op Beetlejuice. Daarnaast had ze rollen in recente series als The Last of Us en The Studio.