ID.nl logo
De technologie achter deepfake en synthetische media
© Reshift Digital
Huis

De technologie achter deepfake en synthetische media

Je eigen gezicht op een filmpersonage plakken is geestig en vrij onschuldig, een politicus iets laten zeggen wat hij of zij nooit gezegd heeft is al van een andere orde. We hebben het uiteraard over deepfakes. Hoe werkt de technologie achter synthetische media?

Een belangrijk containerbegrip waar deepfakes onder vallen is ‘synthetische media’. Dat staat voor content die niet door mensen is gemaakt, maar door computers gegenereerd. Het gaat bijvoorbeeld om foto’s of video’s die niet echt zijn, maar er wel heel echt uitzien. Maar het kan ook gaan om audio, teksten of virtuele objecten. De content wordt geproduceerd door een algoritme op basis van kunstmatige intelligentie (AI, artificial intelligence). 

Deze AI wordt gevoed en getraind door data, zoals foto’s met verschillende gezichtskenmerken, bewegende beelden van een persoon, teksten, muziek of het interieur van huizen. Hoe groter de dataset, des te beter de vaardigheden van het algoritme worden. Software heeft ten opzichte van mensen het voordeel dat het content met hoge snelheid en op oneindige schaal kan produceren.

Een algoritme kan op basis van een dataset met bijvoorbeeld foto’s van tienduizenden personen de gelaatskenmerken analyseren, zoals de positie en kenmerken van de ogen, neus en mond, wenkbrauwen, haar en bijvoorbeeld moedervlekken. Door die vanuit verschillende hoeken te analyseren ontstaat een 3D-model van het gezicht. 

Op basis daarvan, en de overeenkomsten en verschillen tussen mensen in de dataset, kan het algoritme zelf mensen ‘maken’. Wanneer beelden gecombineerd worden van echte mensen wordt dit een deepfake genoemd. Maar het kan ook op basis van random noise, oftewel pixels.

©PXimport

Face swappen

Een onderdeel dat vaak in het nieuws komt, is een zogenoemde deepfake-video of -foto. Hierbij wordt een persoon gedeeltelijk vervangen door een andere persoon – bijvoorbeeld door het gezicht te verwisselen. Het begrip ‘deepfake’ is een samenvoeging van twee Engelse woorden: ‘deep learning’ en ‘fake’. Deep learning is een onderdeel van ‘machine learning’, dat gebaseerd is op kunstmatige neurale netwerken. Het wordt gebruikt om bestaande afbeeldingen en video te combineren, en delen ervan te integreren. 

Bij veel deepfake-video’s wordt meestal alleen een klein deel van een persoon vervangen: het gezicht. Dit heet een ‘faceswap’. Dit scheelt kostbare rekenkracht en het is beduidend minder complex omdat niet al het haar, lichaam, kleding en de achtergrond hoeft te worden vervangen. In de praktijk worden vaak alleen de gelaatstrekken van een hoofd overgenomen, zoals de ogen, neus, wenkbrauwen, gezichtshaar en mond. Deze worden wel zo aangepast dat de kleur en de belichting van het gezicht overeenkomt met het origineel. 

Het resultaat ziet er vaak verrassend echt uit, zeker wanneer het personen betreft die qua bouw een beetje op elkaar lijken. Een bekend voorbeeld is een scène van Arnold Schwarzenegger in Terminator 2, waarbij het gezicht is vervangen door aartsrivaal Sylvester Stallone. Een faceswap is tegenwoordig zo eenvoudig dat iedere consumentencomputer het kan: er bestaat kant-en-klare opensource-software voor. Ook smartphones zijn krachtig genoeg en er zijn talloze apps, zoals Reface.

Hoe werkt deepfake?

Het manipuleren van bestaande beelden of een faceswap werkt door eerst het bronbeeld uitvoerig te analyseren: de positie en de bewegingen van alle onderdelen van het gezicht worden uitvoerig ontleedt, evenals het licht en de hoek van het gezicht. Alle individuele frames worden apart opgeslagen. Vervolgens gebeurt hetzelfde met het doelbeeld, waarbij de gezichten over elkaar worden gelegd. Hoe groter de dataset aan beelden is, des te beter is het eindresultaat.

Het produceren van een compleet nieuw beeld door een algoritme werkt anders. Dit gebeurt met een techniek die bekend staat als GAN (Generative Adversarial Network). Dit is een klasse van algoritmen voor ongecontroleerd leren. Het werkt door middel van een soort spelscenario waarbij twee neurale netwerken tegen elkaar strijden en samenwerken. 

Het eerste netwerk is de generator, die een beeld genereert (maar het kan ook een tekst of audiofragment zijn). Het tweede netwerk is de discriminator, die is getraind op een grote database van voorbeelden en probeert te detecteren of het beeld echt is, of gefabriceerd door de generator. Dit proces gaat net zo lang door tot het door het eerste netwerk geproduceerde beeld zo goed is, dat het aangemerkt wordt als echt. Het netwerk van de generator traint zichzelf dus als het ware omdat het telkens anticipeert op de afwijzingen van de discriminator. 

Een GAN die op foto’s is getraind, kan zelf beelden genereren die niet van echt te onderscheiden zijn. Deze foto’s of video’s zijn dus niet samengesteld uit echte beelden, zoals bij deepfake, maar volledig op basis van nieuwe pixels gegenereerd. Het gaat dan dus om mensen die in werkelijkheid niet bestaan, maar er wel levensecht uitzien. Voorbeelden zijn te zien op sites als thispersondoesnotexist.com. Voor katten, huiskamers en landschappen bestaat deze techniek ook.

Hollywood

De techniek worden steeds vaker toegepast in Hollywoodfilms. In Terminator Genisys, Captain Marvel, Tron: Legacy, The Irishman en Gemini werden hoofdrolspelers tientallen jaren jonger gemaakt. In 2016 zagen we een jonge Carrie Fisher als prinses Leia in Star Wars: Rogue One en in Episode IX figureerde zij zelfs na haar dood.

Amerikaanse filmmakers overwegen zelfs de in 1955 overleden acteur James Dean, te laten figureren in een nieuwe Vietnamfilm, omdat ze zijn persoon zo goed bij de rol vinden passen. Ook voor tv en op YouTube worden steeds vaker deepfakes gebruikt. Zo zond het Britse tv-netwerk Channel 4 beelden van Koningin Elizabeth uit waarbij ze een TikTok-dans deed. 

In Zondag met Lubach ontkrachtte Gerry Baudet uitspraken die door zijn ‘broertje’ waren gedaan. In december 2020 publiceerde YouTube-kanaal Sassy Justice, van de makers van South Park, een zogenaamd kerstverhaal van President Trump waarin twee rendieren onderling ruzie krijgen over de uitslag van de verkiezingen. De opname lijkt verrassend echt, inclusief de bewegingen, handgebaren, gelaatstrekken en de stem van Trump. 

Tenslotte ontstond onlangs veel reuring nadat De Correspondent een gemanipuleerd filmpje van Mark Rutte online zette, waarin het leek alsof de VVD-politicus ineens wel erg begaan was met het klimaat. Op de stem na zou je het zo geloven! 

Tekst: Jeroen Horlings

▼ Volgende artikel
Review Teufel Airy Sports TWS 2 – Perfect zittende oordopjes voor actievelingen
© Maikel Dijkhuizen
Huis

Review Teufel Airy Sports TWS 2 – Perfect zittende oordopjes voor actievelingen

Teufel komt met een nieuwe generatie van zijn Airy Sports TWS. Deze tweede versie is beschikbaar in meerdere kleuren en voorzien van een hogere IP-classificatie (IPx4). Een andere verbetering is dat je in een mobiele app naar eigen wens de audio-instellingen kunt aanpassen. Maar de opvallendste vernieuwing is de toevoeging van noise cancelling. Tijd voor een praktijktest.

Uitstekend
Conclusie

Als je van de noise cancelling-functie geen wonderen verwacht, is de Teufel Airy Sports TWS 2 een interessant product voor actievelingen. Tijdens het wandelen, hardlopen, fitnessen en fietsen blijven de oordopjes goed zitten. Fijn is dat je tijdens al die activiteiten muziek, podcasts en luisterboeken makkelijk kunt bedienen via de aanraakpaneeltjes. Ten slotte is ook de audiokwaliteit dik in orde. Al met al vinden we de adviesprijs van 119,99 euro voor dit kwalitatieve setje in-ears gerechtvaardigd.

Plus- en minpunten
  • Diverse maten oordopjes
  • In-ears blijven goed zitten
  • Hoog draagcomfort
  • Spatwaterbestendig
  • Prettige bediening
  • Duidelijke handleiding
  • Prima audiokwaliteit
  • Equalizerinstellingen aanpassen in app
  • Goede prijs-kwaliteitverhouding
  • Korte usb-c-kabel
  • Matige noise cancelling-functie
CategorieSpecificatie
Formaat audiodrivers10 millimeter (fullrange driver)
AccucapaciteitIn-ears 2× 60 mAh, oplaadcase 750 mAh
IP-classificatieIPx4 (spatwaterdicht)
Beschikbare kleurenZwart, grijs, groen, blauw
Inbegrepen accessoiresOplaadcase, usb-c-oplaadkabel, 5 maten oordopjes

De Berlijnse audiospecialist heeft aan het uiterlijk van de Teufel Airy Sports TWS 2 niet veel veranderd. Het door ons geteste zwarte model bevat aan de buitenzijde van elk oordopje een iets onopvallender Teufel-logo. Daarnaast zijn de oorhaken iets korter en zitten de magneetpunten op een andere plek. Via deze magneetpunten laden de ingebouwde accu's op. De opbergcase heeft zelf ook een accu met een capaciteit van 750 mAh. Die kun je met de inbegrepen usb-c-kabel bijladen. Helaas is dit snoertje met een lengte van nog geen dertig centimeter erg kort.

©Maikel Dijkhuizen

Naast de in-ears levert de fabrikant een oplaadcase, usb-c-kabel, handleiding en vijf maten oordopjes mee.

Draagcomfort

Elk oor is anders en dat begrijpt Teufel maar al te goed. Het merk levert maar liefst vijf setjes siliconen oordoppen mee. Je verwisselt ze eenvoudig, waardoor iedere persoon de juiste pasvorm kan kiezen. Nadat je de Airy Sports TWS 2 aan een bluetooth-bron hebt gekoppeld, haal je de in-ears uit de oplaadcase. Dankzij de flexibele oorhaken blijven de oordoppen prima op hun plek zitten. Ook tijdens het sporten zitten de luisterapparaatjes als gegoten, want de in-ears gaan bij lichamelijke inspanning niet wiebelen. Wegens de prettige pasvorm en het lichte gewicht voel je amper dat je ze in hebt.

©Maikel Dijkhuizen

Dankzij de IPx4-gecertificeerde behuizing kun je de Airy Sports TWS 2 ook bij slecht weer gebruiken.

Bediening

Voor de bediening beschikken beide in-ears aan de buitenzijde over een aanraakpaneeltje. De werking is even wennen, want de linker- en rechterkant herbergen verschillende functies. Tik bijvoorbeeld aan de rechterkant tweemaal om een liedje te skippen en tik links twee keer om naar het vorige liedje te gaan. Je drukt tijdelijk op de behuizing om het volume te wijzigen. Met driemaal tikken kun je de transparantiemodus (links) of noise cancelling (rechts) activeren. Tot slot neem je simpel inkomende gesprekken aan, waarna je handsfree kunt bellen. Zodra je alle functies eenmaal onder de knie hebt, voelt de bediening intuïtief aan. De bijgevoegde handleiding bevat voor alle beschikbare opties duidelijke instructies.

Geluidskwaliteit

De Airy Sports TWS 2 levert zowel op lage als hoge volumes een helder geluid. Muziek klinkt erg levendig waarbij luisteraars een duidelijk stereobeeld kunnen horen. Vrouwelijke en mannelijke stemmen zijn duidelijk te verstaan, waardoor je podcasts, audioboeken en radio-uitzendingen moeiteloos kunt volgen. De in-ears sluiten je oren namelijk goed af van de omgeving. Daarnaast kun je natuurlijk noise cancelling inschakelen, maar deze functie zorgt slechts voor een bescheiden demping van de lage tonen in jouw omgeving. Je hoort omringende geluiden hierdoor een fractie zachter.

Met de standaardinstellingen laten de bassen zich niet zo nadrukkelijk gelden. Vind je een diepere laagweergave prettig, dan loont het de moeite om de Teufel Go-app te installeren. Kies vervolgens de geluidsinstelling Bass Boost en ervaar een steviger geluid. Overigens zijn er nog meer audio-opties beschikbaar, namelijk Podcast, Techno, Pop, Treble boost, Rock en Klassiek. Bovendien pas je de equalizerinstellingen eventueel handmatig aan. Kortom, genoeg mogelijkheden om het geluid naar je hand te zetten.

Gebruikers kunnen in de app ook nog noise cancelling of de transparantiemodus activeren. Laatstgenoemde functie laat geluid van buitenaf door, zodat je tijdens het luisteren soepel een gesprek kunt voeren. Verder toont de app de resterende batterijcapaciteit van elk oordopje en de huidige firmware-versie. Als er een nieuwe software-update verschijnt, kun je die meteen installeren.

©Maikel Dijkhuizen

Pas in de Teufel Go-app het geluid naar eigen smaak aan.

Teufel Airy Sports TWS 2 kopen?

Als je van de noise cancelling-functie geen wonderen verwacht, is de Teufel Airy Sports TWS 2 een interessant product voor actievelingen. Tijdens het wandelen, hardlopen, fitnessen en fietsen blijven de oordopjes goed zitten. Fijn is dat je tijdens al die activiteiten muziek, podcasts en luisterboeken makkelijk kunt bedienen via de aanraakpaneeltjes. Ten slotte is ook de audiokwaliteit dik in orde. Al met al vinden we de adviesprijs van 119,99 euro voor dit kwalitatieve setje in-ears gerechtvaardigd.

▼ Volgende artikel
Home Alone- en The Last of Us-actrice Catherine O'Hara overleden
Huis

Home Alone- en The Last of Us-actrice Catherine O'Hara overleden

Catherine O'Hara, de actrice die onder andere bekend is van haar rol in de eerste twee Home Alone-films, is op 71-jarige leeftijd overleden.

Ze kwam in haar huis te Los Angeles te overlijden na een korte ziekte. Het internet stond gisteren vol met mooie herinneringen aan O'Hara van collega-acteurs en anderen uit het acteervak.

De Canadees-Amerikaanse actrice was vooral bekend om haar rol als moeder van hoofdpersonage Kevin McCallister in de eerste twee Home Alone-films. Ook haar rol als Delia Deetz in de gotische Tim Burton-film Beetlejuice was bekend.

De laatste jaren kreeg O'Hara's carrière een tweede leven dankzij haar rol in de sitcom Schitt's Creek, alsmede in het vervolg op Beetlejuice. Daarnaast had ze rollen in recente series als The Last of Us en The Studio.

View post on X
Nieuw op ID: het complete plaatje

Misschien valt het je op dat er vanaf nu ook berichten over games, films en series op onze site verschijnen. Dat is een bewuste stap. Wij geloven dat technologie niet stopt bij hardware; het gaat uiteindelijk om wat je ermee beleeft. Daarom combineren we onze expertise in tech nu met het laatste nieuws over entertainment. Dat doen we met de gezichten die mensen kennen van Power Unlimited, dé experts op het gebied van gaming en streaming. Zo helpen we je niet alleen aan de beste tv, smartphone of laptop, maar vertellen we je ook direct wat je erop moet kijken of spelen. Je vindt hier dus voortaan de ideale mix van hardware én content.