ID.nl logo
De technologie achter deepfake en synthetische media
© Reshift Digital
Huis

De technologie achter deepfake en synthetische media

Je eigen gezicht op een filmpersonage plakken is geestig en vrij onschuldig, een politicus iets laten zeggen wat hij of zij nooit gezegd heeft is al van een andere orde. We hebben het uiteraard over deepfakes. Hoe werkt de technologie achter synthetische media?

Een belangrijk containerbegrip waar deepfakes onder vallen is ‘synthetische media’. Dat staat voor content die niet door mensen is gemaakt, maar door computers gegenereerd. Het gaat bijvoorbeeld om foto’s of video’s die niet echt zijn, maar er wel heel echt uitzien. Maar het kan ook gaan om audio, teksten of virtuele objecten. De content wordt geproduceerd door een algoritme op basis van kunstmatige intelligentie (AI, artificial intelligence). 

Deze AI wordt gevoed en getraind door data, zoals foto’s met verschillende gezichtskenmerken, bewegende beelden van een persoon, teksten, muziek of het interieur van huizen. Hoe groter de dataset, des te beter de vaardigheden van het algoritme worden. Software heeft ten opzichte van mensen het voordeel dat het content met hoge snelheid en op oneindige schaal kan produceren.

Een algoritme kan op basis van een dataset met bijvoorbeeld foto’s van tienduizenden personen de gelaatskenmerken analyseren, zoals de positie en kenmerken van de ogen, neus en mond, wenkbrauwen, haar en bijvoorbeeld moedervlekken. Door die vanuit verschillende hoeken te analyseren ontstaat een 3D-model van het gezicht. 

Op basis daarvan, en de overeenkomsten en verschillen tussen mensen in de dataset, kan het algoritme zelf mensen ‘maken’. Wanneer beelden gecombineerd worden van echte mensen wordt dit een deepfake genoemd. Maar het kan ook op basis van random noise, oftewel pixels.

©PXimport

Face swappen

Een onderdeel dat vaak in het nieuws komt, is een zogenoemde deepfake-video of -foto. Hierbij wordt een persoon gedeeltelijk vervangen door een andere persoon – bijvoorbeeld door het gezicht te verwisselen. Het begrip ‘deepfake’ is een samenvoeging van twee Engelse woorden: ‘deep learning’ en ‘fake’. Deep learning is een onderdeel van ‘machine learning’, dat gebaseerd is op kunstmatige neurale netwerken. Het wordt gebruikt om bestaande afbeeldingen en video te combineren, en delen ervan te integreren. 

Bij veel deepfake-video’s wordt meestal alleen een klein deel van een persoon vervangen: het gezicht. Dit heet een ‘faceswap’. Dit scheelt kostbare rekenkracht en het is beduidend minder complex omdat niet al het haar, lichaam, kleding en de achtergrond hoeft te worden vervangen. In de praktijk worden vaak alleen de gelaatstrekken van een hoofd overgenomen, zoals de ogen, neus, wenkbrauwen, gezichtshaar en mond. Deze worden wel zo aangepast dat de kleur en de belichting van het gezicht overeenkomt met het origineel. 

Het resultaat ziet er vaak verrassend echt uit, zeker wanneer het personen betreft die qua bouw een beetje op elkaar lijken. Een bekend voorbeeld is een scène van Arnold Schwarzenegger in Terminator 2, waarbij het gezicht is vervangen door aartsrivaal Sylvester Stallone. Een faceswap is tegenwoordig zo eenvoudig dat iedere consumentencomputer het kan: er bestaat kant-en-klare opensource-software voor. Ook smartphones zijn krachtig genoeg en er zijn talloze apps, zoals Reface.

Hoe werkt deepfake?

Het manipuleren van bestaande beelden of een faceswap werkt door eerst het bronbeeld uitvoerig te analyseren: de positie en de bewegingen van alle onderdelen van het gezicht worden uitvoerig ontleedt, evenals het licht en de hoek van het gezicht. Alle individuele frames worden apart opgeslagen. Vervolgens gebeurt hetzelfde met het doelbeeld, waarbij de gezichten over elkaar worden gelegd. Hoe groter de dataset aan beelden is, des te beter is het eindresultaat.

Het produceren van een compleet nieuw beeld door een algoritme werkt anders. Dit gebeurt met een techniek die bekend staat als GAN (Generative Adversarial Network). Dit is een klasse van algoritmen voor ongecontroleerd leren. Het werkt door middel van een soort spelscenario waarbij twee neurale netwerken tegen elkaar strijden en samenwerken. 

Het eerste netwerk is de generator, die een beeld genereert (maar het kan ook een tekst of audiofragment zijn). Het tweede netwerk is de discriminator, die is getraind op een grote database van voorbeelden en probeert te detecteren of het beeld echt is, of gefabriceerd door de generator. Dit proces gaat net zo lang door tot het door het eerste netwerk geproduceerde beeld zo goed is, dat het aangemerkt wordt als echt. Het netwerk van de generator traint zichzelf dus als het ware omdat het telkens anticipeert op de afwijzingen van de discriminator. 

Een GAN die op foto’s is getraind, kan zelf beelden genereren die niet van echt te onderscheiden zijn. Deze foto’s of video’s zijn dus niet samengesteld uit echte beelden, zoals bij deepfake, maar volledig op basis van nieuwe pixels gegenereerd. Het gaat dan dus om mensen die in werkelijkheid niet bestaan, maar er wel levensecht uitzien. Voorbeelden zijn te zien op sites als thispersondoesnotexist.com. Voor katten, huiskamers en landschappen bestaat deze techniek ook.

Hollywood

De techniek worden steeds vaker toegepast in Hollywoodfilms. In Terminator Genisys, Captain Marvel, Tron: Legacy, The Irishman en Gemini werden hoofdrolspelers tientallen jaren jonger gemaakt. In 2016 zagen we een jonge Carrie Fisher als prinses Leia in Star Wars: Rogue One en in Episode IX figureerde zij zelfs na haar dood.

Amerikaanse filmmakers overwegen zelfs de in 1955 overleden acteur James Dean, te laten figureren in een nieuwe Vietnamfilm, omdat ze zijn persoon zo goed bij de rol vinden passen. Ook voor tv en op YouTube worden steeds vaker deepfakes gebruikt. Zo zond het Britse tv-netwerk Channel 4 beelden van Koningin Elizabeth uit waarbij ze een TikTok-dans deed. 

In Zondag met Lubach ontkrachtte Gerry Baudet uitspraken die door zijn ‘broertje’ waren gedaan. In december 2020 publiceerde YouTube-kanaal Sassy Justice, van de makers van South Park, een zogenaamd kerstverhaal van President Trump waarin twee rendieren onderling ruzie krijgen over de uitslag van de verkiezingen. De opname lijkt verrassend echt, inclusief de bewegingen, handgebaren, gelaatstrekken en de stem van Trump. 

Tenslotte ontstond onlangs veel reuring nadat De Correspondent een gemanipuleerd filmpje van Mark Rutte online zette, waarin het leek alsof de VVD-politicus ineens wel erg begaan was met het klimaat. Op de stem na zou je het zo geloven! 

Tekst: Jeroen Horlings

▼ Volgende artikel
Review Sennheiser HDB 630 - Bluetooth-koptelefoon met hoge audioprestaties
© Sennheiser
Huis

Review Sennheiser HDB 630 - Bluetooth-koptelefoon met hoge audioprestaties

Zoek je een draadloze hoofdtelefoon met een uitstekend geluid? De HDB 630 is de eerste bluetooth-koptelefoon waarbij Sennheiser het 'Hi-Res Audio'-label op de productdoos heeft geplakt. Dus dat belooft wat! Is luxe koptelefoon zijn stevige adviesprijs van bijna vijfhonderd euro waard?

Fantastisch
Conclusie

Is het hoge prijskaartje van zo'n vijfhonderd euro geen bezwaar, dan haal je met de Sennheiser HDB 630 een hoogstaand audioproduct in huis. Deze over-ear-hoofdtelefoon zit comfortabel en klinkt werkelijk fantastisch. Overige voordelen zijn de stevige reishoes, lange accuduur, goede noise cancelling-functie en uitgebreide app. Houd er wel rekening mee dat de behuizing geen regen kan verdragen.

Plus- en minpunten
  • Prettige pasvorm
  • Robuuste opbergcase
  • Bluetooth-dongel
  • Twee afneembare audiokabels
  • Uitstekende audiokwaliteit
  • Audioresolutie tot 24 bit/192 kHz
  • Noise cancelling-functie werkt erg goed
  • Accu gaat lang mee
  • Zeer veelzijdige app
  • Duur
  • Niet IP-gecertificeerd
  • Groot formaat draaghoes
  • Engelstalige app
CategorieSpecificatie
Formaat audiodrivers2× 42 millimeter
AudiokwaliteitTot 24 bit/192 kHz
FrequentiebereikTot 6 Hz - 40 kHz
Accucapaciteit700 mAh (tot 60 uur)
ConnectiviteitBluetooth 5.2, usb-c, lijningang (3,5 mm)
Gewicht311 gram (zonder kabel)
Inbegrepen accessoiresOpbergcase, hoofdtelefoonkabel (3,5 mm), usb-c-kabel, vliegtuigadapter, bluetooth-adapter (usb-c)

De Sennheiser HDB 630 is een stijlvol vormgegeven over-ear-hoofdtelefoon met een veilige kleurstelling van zwart en zilver. Beide schelpen hebben nogal dikke kussens van kunstleer die volledig over de oren vallen. In combinatie met de zacht gevoerde hoofdband is de pasvorm erg comfortabel. De klemdruk is trouwens wel wat steviger dan we van veel andere hoofdtelefoons gewend zijn. Hierdoor blijft de HDB 630 tijdens een wandeling of huishoudelijke klus goed op het hoofd zitten. Dankzij de draaibare oorschelpen en verstelbare hoofdband is het apparaat voor vrijwel iedereen geschikt. Luister je graag buitenshuis, dan is het belangrijk om te weten dat dit product geen IP-certificering heeft. Kijk dus uit voor een onverhoopte regenbui.

©Maikel Dijkhuizen

Dankzij de dikke oorkussens gaat de Sennheiser HDB 630 tijdens een lange luistersessie niet zo gauw irriteren.

Inbegrepen accessoires

Zoals je van een product in deze prijsklasse mag verwachten, levert de Duitse audiospecialist een stevige opbergcase mee. Die is overigens wel iets groter vergeleken met de case die veel andere merken, zoals Sony en JBL, bij hun koptelefoons leveren. De HDB 630 heeft namelijk geen vouwmechanisme, waardoor de koptelefoon meer ruimte in beslag neemt.

Opvallend is de aanwezigheid van een bluetooth-dongel. Wanneer jouw computer geen bluetooth ondersteunt, kun je evengoed draadloos luisteren. Het is trouwens wel een usb-c-dongel. Check dus voor de zekerheid even of deze poort op jouw computer zit. De adapter ondersteunt een respectabele audioresolutie van maximaal 24 bit/192 kHz. Wanneer je de dongel op een geschikte smartphone of tablet aansluit, profiteer je van een hoge geluidskwaliteit.

Behalve bluetooth ontvangt deze koptelefoon als alternatief ook audiosignalen via twee fysieke ingangen, namelijk usb-c en een 3,5mm-audiopoort. De benodigde kabels zijn inbegrepen. Tot slot bevat de opbergcase een vliegtuigadapter.

©Maikel Dijkhuizen

In de ruime draagtas zitten naast de hoofdtelefoon twee audiokabels, een vliegtuigadapter en een bluetooth-dongel.

Muziek luisteren

Zodra je de HDB 630 uit de draaghoes haalt, springt het apparaat vanzelf aan. De eerste klanken laten meteen een goede indruk achter, want deze bluetooth-hoofdtelefoon levert een kraakhelder en levendig geluid. Zowel het hoog, midden als laag zijn luid en duidelijk te horen, waardoor de HDB 630 niets uit de oorspronkelijke opname achterwege laat. Je hoort werkelijk ieder detail. Van metal tot klassiek; elk liedje klinkt kortweg prachtig. Een groot pluspunt is de doeltreffende noise cancelling-functie. We horen tijdens het luisteren nauwelijks omgevingsgeluid. Ideaal voor wie op luidruchtige plekken een podcast, audioboek, talkshow of radio-uitzending wil volgen. Volgens de fabrikant is een volgeladen accu goed voor een luistertijd tot ongeveer zestig uur.

©Sennheiser

Je kunt met de Sennheiser HDB 630 zowel draadloos als met een kabel naar muziek luisteren.

Audiobediening

Deze hoofdtelefoon laat zich makkelijk bedienen. De buitenzijde van de rechteroorschelp heeft hiervoor een aanraakpaneel. Veeg omhoog of vooruit om respectievelijk het volume op te voeren en naar het volgende liedje te navigeren. Daarnaast kun je inkomende gesprekken aannemen (of weigeren) en noise cancelling inschakelen. Druk je tweemaal kort op de aan-uitknop, dan vertelt een vrouwelijke stem het resterende batterijpercentage.

Voor toegang tot meer audio-instellingen installeer je de uitgebreide Sennheiser Smart Control Plus-app op een smartphone. Switch bijvoorbeeld snel tussen geluidsopties als Podcast, Rock, Pop, Movie, Dance en Hip-Hop. Daarnaast kun je het basniveau omhoog krikken. Je stelt verder eenvoudig de mate van noise cancelling in. Je bepaalt hierbij zelf hoeveel omgevingsgeluid je hoort. Leuk is dat je in de Engelstalige app allerlei experimentele audio-instellingen kunt uitproberen. Ten slotte verschijnen er mogelijk ook soms nieuwe software-updates voor de hoofdtelefoon.

©Maikel Dijkhuizen

Neem even de tijd om alle mogelijkheden van de veelzijdige Sennheiser Smart Control Plus-app te verkennen.

Sennheiser HDB 630 kopen?

Is het hoge prijskaartje van zo'n vijfhonderd euro geen bezwaar, dan haal je met de Sennheiser HDB 630 een hoogstaand audioproduct in huis. Deze over-ear-hoofdtelefoon zit comfortabel en klinkt werkelijk fantastisch. Overige voordelen zijn de stevige reishoes, lange accuduur, goede noise cancelling-functie en uitgebreide app. Houd er wel rekening mee dat de behuizing geen regen kan verdragen.

Meer koptelefoons van Sennheiser:

▼ Volgende artikel
Tweede seizoen van Battlefield 6 is van start
Huis

Tweede seizoen van Battlefield 6 is van start

Het tweede seizoen van Battlefield 6 is na uitstel gisteren van start gegaan.

Het tweede seizoen had eigenlijk op 20 januari van start moeten gaan, maar dat werd vier weken uitgesteld omdat het tweede seizoen nog niet klaar voor release was. Dat is nu blijkbaar wel, en spelers van de shooter kunnen dan ook aan de slag met het tweede seizoen.

Het tweede seizoen bestaat uit drie fases van een maand, die elk nieuwe content met zich meebrengen. De eerste fase heet Extreme Measures en is begonnen. Spelers kunnen aan de slag met een nieuwe multiplayermap genaamd Contaminated, dat geschikt is voor alle gevechtsgroottes. Ook is er een nieuwe tijdelijk beschikbare modus in de vorm van VL-7 Strike, en de battle royale-game Battlefield RedSec krijgt de modi Gauntlet: Altered State en Battle Royale: Synthesis. Ook zijn er nieuwe wapens en gadgets.

View post on X

De tweede fase heet Nightfall en start op 17 maart, en zal onder andere de nieuwe map Hagental Base en nieuwe Nightfall-modus - waarbij het nacht is en het zich dus slecht is - bevatten. Op 14 april begint de derde fase, Hunter / Prey, met een nieuwe gelimiteerde modus genaamd Operation Augur.

Battlefield 6 kwam afgelopen najaar uit voor pc, PlayStation 5 en Xbox Series-consoles en bleek een groot succes. In de eerste drie dagen werden er meer dan zeven miljoen exemplaren van verkocht. Tegelijkertijd kreeg de game concurrentie uit onverwachtse hoek, namelijk van de ook vorig najaar uitgekomen extraction shooter Arc Raiders.

Watch on YouTube
Watch on YouTube