ID.nl logo
De technologie achter deepfake en synthetische media
© Reshift Digital
Huis

De technologie achter deepfake en synthetische media

Je eigen gezicht op een filmpersonage plakken is geestig en vrij onschuldig, een politicus iets laten zeggen wat hij of zij nooit gezegd heeft is al van een andere orde. We hebben het uiteraard over deepfakes. Hoe werkt de technologie achter synthetische media?

Een belangrijk containerbegrip waar deepfakes onder vallen is ‘synthetische media’. Dat staat voor content die niet door mensen is gemaakt, maar door computers gegenereerd. Het gaat bijvoorbeeld om foto’s of video’s die niet echt zijn, maar er wel heel echt uitzien. Maar het kan ook gaan om audio, teksten of virtuele objecten. De content wordt geproduceerd door een algoritme op basis van kunstmatige intelligentie (AI, artificial intelligence). 

Deze AI wordt gevoed en getraind door data, zoals foto’s met verschillende gezichtskenmerken, bewegende beelden van een persoon, teksten, muziek of het interieur van huizen. Hoe groter de dataset, des te beter de vaardigheden van het algoritme worden. Software heeft ten opzichte van mensen het voordeel dat het content met hoge snelheid en op oneindige schaal kan produceren.

Een algoritme kan op basis van een dataset met bijvoorbeeld foto’s van tienduizenden personen de gelaatskenmerken analyseren, zoals de positie en kenmerken van de ogen, neus en mond, wenkbrauwen, haar en bijvoorbeeld moedervlekken. Door die vanuit verschillende hoeken te analyseren ontstaat een 3D-model van het gezicht. 

Op basis daarvan, en de overeenkomsten en verschillen tussen mensen in de dataset, kan het algoritme zelf mensen ‘maken’. Wanneer beelden gecombineerd worden van echte mensen wordt dit een deepfake genoemd. Maar het kan ook op basis van random noise, oftewel pixels.

©PXimport

Face swappen

Een onderdeel dat vaak in het nieuws komt, is een zogenoemde deepfake-video of -foto. Hierbij wordt een persoon gedeeltelijk vervangen door een andere persoon – bijvoorbeeld door het gezicht te verwisselen. Het begrip ‘deepfake’ is een samenvoeging van twee Engelse woorden: ‘deep learning’ en ‘fake’. Deep learning is een onderdeel van ‘machine learning’, dat gebaseerd is op kunstmatige neurale netwerken. Het wordt gebruikt om bestaande afbeeldingen en video te combineren, en delen ervan te integreren. 

Bij veel deepfake-video’s wordt meestal alleen een klein deel van een persoon vervangen: het gezicht. Dit heet een ‘faceswap’. Dit scheelt kostbare rekenkracht en het is beduidend minder complex omdat niet al het haar, lichaam, kleding en de achtergrond hoeft te worden vervangen. In de praktijk worden vaak alleen de gelaatstrekken van een hoofd overgenomen, zoals de ogen, neus, wenkbrauwen, gezichtshaar en mond. Deze worden wel zo aangepast dat de kleur en de belichting van het gezicht overeenkomt met het origineel. 

Het resultaat ziet er vaak verrassend echt uit, zeker wanneer het personen betreft die qua bouw een beetje op elkaar lijken. Een bekend voorbeeld is een scène van Arnold Schwarzenegger in Terminator 2, waarbij het gezicht is vervangen door aartsrivaal Sylvester Stallone. Een faceswap is tegenwoordig zo eenvoudig dat iedere consumentencomputer het kan: er bestaat kant-en-klare opensource-software voor. Ook smartphones zijn krachtig genoeg en er zijn talloze apps, zoals Reface.

Hoe werkt deepfake?

Het manipuleren van bestaande beelden of een faceswap werkt door eerst het bronbeeld uitvoerig te analyseren: de positie en de bewegingen van alle onderdelen van het gezicht worden uitvoerig ontleedt, evenals het licht en de hoek van het gezicht. Alle individuele frames worden apart opgeslagen. Vervolgens gebeurt hetzelfde met het doelbeeld, waarbij de gezichten over elkaar worden gelegd. Hoe groter de dataset aan beelden is, des te beter is het eindresultaat.

Het produceren van een compleet nieuw beeld door een algoritme werkt anders. Dit gebeurt met een techniek die bekend staat als GAN (Generative Adversarial Network). Dit is een klasse van algoritmen voor ongecontroleerd leren. Het werkt door middel van een soort spelscenario waarbij twee neurale netwerken tegen elkaar strijden en samenwerken. 

Het eerste netwerk is de generator, die een beeld genereert (maar het kan ook een tekst of audiofragment zijn). Het tweede netwerk is de discriminator, die is getraind op een grote database van voorbeelden en probeert te detecteren of het beeld echt is, of gefabriceerd door de generator. Dit proces gaat net zo lang door tot het door het eerste netwerk geproduceerde beeld zo goed is, dat het aangemerkt wordt als echt. Het netwerk van de generator traint zichzelf dus als het ware omdat het telkens anticipeert op de afwijzingen van de discriminator. 

Een GAN die op foto’s is getraind, kan zelf beelden genereren die niet van echt te onderscheiden zijn. Deze foto’s of video’s zijn dus niet samengesteld uit echte beelden, zoals bij deepfake, maar volledig op basis van nieuwe pixels gegenereerd. Het gaat dan dus om mensen die in werkelijkheid niet bestaan, maar er wel levensecht uitzien. Voorbeelden zijn te zien op sites als thispersondoesnotexist.com. Voor katten, huiskamers en landschappen bestaat deze techniek ook.

Hollywood

De techniek worden steeds vaker toegepast in Hollywoodfilms. In Terminator Genisys, Captain Marvel, Tron: Legacy, The Irishman en Gemini werden hoofdrolspelers tientallen jaren jonger gemaakt. In 2016 zagen we een jonge Carrie Fisher als prinses Leia in Star Wars: Rogue One en in Episode IX figureerde zij zelfs na haar dood.

Amerikaanse filmmakers overwegen zelfs de in 1955 overleden acteur James Dean, te laten figureren in een nieuwe Vietnamfilm, omdat ze zijn persoon zo goed bij de rol vinden passen. Ook voor tv en op YouTube worden steeds vaker deepfakes gebruikt. Zo zond het Britse tv-netwerk Channel 4 beelden van Koningin Elizabeth uit waarbij ze een TikTok-dans deed. 

In Zondag met Lubach ontkrachtte Gerry Baudet uitspraken die door zijn ‘broertje’ waren gedaan. In december 2020 publiceerde YouTube-kanaal Sassy Justice, van de makers van South Park, een zogenaamd kerstverhaal van President Trump waarin twee rendieren onderling ruzie krijgen over de uitslag van de verkiezingen. De opname lijkt verrassend echt, inclusief de bewegingen, handgebaren, gelaatstrekken en de stem van Trump. 

Tenslotte ontstond onlangs veel reuring nadat De Correspondent een gemanipuleerd filmpje van Mark Rutte online zette, waarin het leek alsof de VVD-politicus ineens wel erg begaan was met het klimaat. Op de stem na zou je het zo geloven! 

Tekst: Jeroen Horlings

▼ Volgende artikel
Review Huawei Freeclip 2 – Voel je niet, hoor je wel
© Wesley Akkerman
Huis

Review Huawei Freeclip 2 – Voel je niet, hoor je wel

De Huawei Freeclip 2 is een opmerkelijke set oordopjes. Niet alleen omdat je ze om je oren draagt, alsof het oorbellen met clipjes zijn, maar omdat er een bijzonder verrassend geluid uit komt, ondanks dat compacte formaat. Het grootste minpunt? De prijs…

Goed
Conclusie

Met een prijskaartje van pakweg 200 euro moet je diep in de buidel tasten voor de Huawei Freeclip 2. Maar daar krijg je dan ook wel de meest comfortabele open-ear-oordoppen van dit moment voor terug. Koppel dat aan een warme en vertrouwde audiobeleving en je houdt een set over die in deze categorie zijn weerga niet kent. Het gedoe met de app en de bediening is vervelend, zeker op dit prijspunt, dus hopelijk doet de fabrikant daar nog iets mee.

Plus- en minpunten
  • Ongekend draagcomfort
  • Audio klinkt warm en vertrouwd
  • Overzichtelijke applicatie
  • Lekker compact oplaadhoesje
  • Lange batterijduur
  • Audio kan vervormd klinken na equalizer
  • Hoge aanschafprijs
  • Fysieke bediening wat onhandig
  • App met een omweg installeren
CategorieSpecificatie
AfmetingenOordopje: ca. 25,4 × 26,7 × 18,8 mm; Case: ca. 50 × 49,6 × 25 mm
GewichtEnkel oordopje: ca. 5,1 g; Oplaadcase: ca. 37,8 g
BouwIP57 (oordopjes), IP54 (oplaadcase)
ConnectiviteitBluetooth 6.0; Protocol: A2DP 1.3, HFP 1.7, AVRCP 1.6
Batterij60 mAh per oordopje, 537 mAh in de oplaadcase (Lithium-ionpolymeer)
GebruiksduurMuziek: 9 uur (oordopjes) / 38 uur (met case)
OpladenUSB Type-C, draadloos opladen, 40 min voor oordopjes (3C-laadtempo)
AudioDual-engine driver (10,8 mm), bereik 20 Hz tot 20.000 Hz
CodecsL2HC, AAC, SBC ondersteuning via A2DP
Microfoons4 MEMS-microfoons en 2 VPU-microfoons voor heldere gesprekken

Het kan zijn dat het ontwerp van de Huawei Freeclip 2 je nog niet bekend voorkomt. Toch bestaat dit soort oordopjes al een tijdje. Niet alleen in de vorm van de voorganger van dit model; Motorola heeft bijvoorbeeld de Buds Loop, terwijl JBL eerder de Soundgear Clips aankondigde. Desondanks geniet de productcategorie nog weinig populariteit. Waarschijnlijk vanwege de iets minder audiokwaliteit en iets hogere aanschafprijs in vergelijking met 'normale' oortjes.

De Huawei Freeclip 2 valt (net als zijn soortgenoten) onder de categorie open-ear-oordopjes (en subcategorie C-bridge). Dat betekent dat ze niet ín je oren gaan, maar net boven de gehoorgang hangen en de muziek als het ware de opening in blazen. Daardoor blijf je goed in contact met je directe omgeving terwijl je naar je eigen muziek luistert, en anderen hebben daar weinig last van: er lekt soms wat geluid weg, maar meestal zo zacht dat het nauwelijks stoort.

©Wesley Akkerman

Verbeteringen Huawei Freeclip 2

Mocht je al weg bekend zijn met de Huawei Freeclip, dan is het goed om even kort te verbeteringen te bespreken. Deze set beschikt bijvoorbeeld over adaptieve audio, waardoor hij het volumeniveau aan de omgevingsgeluiden kan aanpassen. Daarnaast kun je de hardware bedienen met zowel tik- als veegbewegingen. De batterijen houden het één uur langer vol (nu negen uur) en het oplaadhoesje gaat twee uur langer mee (nu in totaal 38 uur).

Ook mooi meegenomen: de oorhangers wegen ongeveer elf procent minder dan de eerste variant, terwijl Huawei niet inleverde op audiokwaliteit. Sterker nog: die is er op vooruitgegaan. Muziek klinkt over het algemeen helder en fris en als je binnen de bijbehorende app de equalizer gebruikt, ook nog eens warm en omhelzend. De bas kan soms wat scherp klinken en er treedt enige vervorming op na het gebruik van die equalizer, maar dit valt allemaal binnen de verwachting.

©Wesley Akkerman

De afweging maken

Je kunt van een set open-ear-dopjes namelijk niet dezelfde audiokwaliteit verwachten als van oordoppen die daadwerkelijk je gehoorgang ingaan en de boel netjes afsluiten. Desondanks zijn we onder de indruk van de audiokwaliteit. Je favoriete tunes klinken aangenaam en vertrouwd; een groter compliment kunnen we open-ear-setjes niet geven. Onze ervaringen met andere merken dopjes laten qua audio nog wel eens wat te wensen over, maar hier vallen veel negatieve ervaringen weg.

Zoals gezegd klinkt de audio niet perfect. Je mist soms wat detail en ook de bredere soundstage die je krijgt met oordoppen die je afsluiten van de wereld. De vraag is alleen: maakt dat in de praktijk veel uit? Meestal niet, want met open-ear-modellen kies je bewust voor die balans. Je levert iets in op geluidskwaliteit, maar je blijft je omgeving horen. Daardoor lenen dit soort sets zich perfect lenen voor bijvoorbeeld fietsers en wanneer je in de sportschool bent: momenten waarop je niet helemaal afgesloten wilt zijn van de buitenwereld.

©Wesley Akkerman

Draagcomfort is top, bediening laat steken vallen

Verder zitten de Huawei FreeClip 2-oortjes opvallend prettig. Je hangt ze als het ware aan je oor en schuift ze daarna simpelweg naar de plek die voor jou goed voelt. Zitten ze hoger fijner, dan zet je ze iets omhoog. Liever wat lager, dan laat je ze wat meer zakken. Fijn is ook dat ze bij de meeste oorbellen niet in de weg zitten, dus je hebt best veel speelruimte voor de pasvorm. En als leuke extra: ze vallen op als een soort sieraad – je oogt meteen wat modieuzer met deze dingen.

Dat gezegd hebbende zijn we minder te spreken over de fysieke bediening. Het is fijn dat je kunt vegen en tikken, maar juist dat tikken op de dunne rand (de C-brug) werkt minder betrouwbaar dan je hoopt. Eén tik doet gelukkig niets, want die maak je soms al per ongeluk. Alleen: als je wél bewust een tik- of drukbeweging probeert te doen, pakt de brug dat lang niet altijd. Of je nu net te zacht drukt of net niet snel genoeg bent, het resultaat is hetzelfde: we grepen uiteindelijk toch steeds naar onze smartphone om te pauzeren, te skippen of het volume aan te passen.

Daarnaast helpt het ook niet dat je voor Huawei-producten apps moet downloaden die niet gewoon in de Google Play Store staan. Je moet eerst AppGallery van Huawei downloaden en vervolgens AI Life installeren. Android geeft zelfs een flinke waarschuwing en dat voelt niet bepaald geruststellend. Ga je toch door, dan krijg je wel een overzichtelijke manier om de Huawei FreeClip 2 te beheren. Aan de app zelf ligt het dus niet.

Huawei Freeclip 2 kopen?

Met een prijskaartje van pakweg 200 euro moet je diep in de buidel tasten voor de Huawei Freeclip 2. Maar daar krijg je dan ook wel de meest comfortabele open-ear-oordoppen van dit moment voor terug. Koppel dat aan een warme en vertrouwde audiobeleving en je houdt een set over die in deze categorie zijn weerga niet kent. Het gedoe met de app en de bediening is vervelend, zeker op dit prijspunt, dus hopelijk doet de fabrikant daar nog iets mee.

▼ Volgende artikel
Death Stranding: Director’s Cut nu speelbaar via Xbox Game Pass
Huis

Death Stranding: Director’s Cut nu speelbaar via Xbox Game Pass

Microsoft heeft de Xbox Game Pass-titels van de komende wekend aangekondigd. Onder de games die naar de dienst komen valt ook Death Stranding: Director's Cut, die sinds vandaag op Game Pass staat.

De nieuwe Xbox Game Pass-toevoegingen werd via Xbox Wire aangekondigd. Daar valt ook meer informatie over de verschillende games die naar de abonnementsdienst komen te lezen.

Death Stranding

De Director's Cut van Death Stranding is daarbij een van de meest opvallende toevoegingen. Het spel van Hideo Kojima kwam in eerste instantie alleen op PlayStation-consoles uit, maar kwam daarna ook naar Xbox. Kojima bedacht hiervoor de Metal Gear-reeks en staat bekend om zijn vaak duizelingwekkende concepten en haast onnavolgbare verhalen in zijn games. Inmiddels is ook een vervolg op Death Stranding uitgekomen op PlayStation 5, maar die is nog niet op andere platforms beschikbaar.

In Death Stranding maken we kennis met een Amerika dat uit elkaar is gevallen doordat de grens tussen deze wereld en het dodenrijk vervaagt. De wereld wordt geteisterd door unieke regenbuien die niet alleen levende wezens en materialen in extreem snel tempo verouderen, maar ook een soort geesten (BT's) laten verschijnen. Als gevolg hiervan is de samenleving in de VS uit elkaar gevallen en zijn de overgebleven steden afgesloten, vaak ondergrondse forten die geen contact met elkaar hebben.

Spelers besturen Sam Porter Bridges - gespeeld door The Walking Dead-ster Norman Reedus - die door Amerika trekt en pakketjes tussen de verschillende vestigingen vervoert. Ondertussen probeert hij de steden aan een netwerk te verbinden, zodat de samenleving langzaam maar zeker weer in contact met elkaar komt en materialen kunnen uitwisselen via het netwerk. Sam heeft daarnaast de unieke eigenschap de hierboven genoemde BT's te zien. Hij weet zelfs wanneer hij ze nadert doordat hij een speciale baby bij zich draagt met soortgelijke paranormale gaven.

View post on X

De Xbox Games Pass-toevoegingen

Hieronder zijn alle toevoegingen aan Xbox Game Pass van de komende weken te zien.

  • Death Stranding: Director’s Cut (Xbox Series-consoles, pc en cloud) vanaf vandaag beschikbaar via Game Pass Ultimate, Premium, PC Game Pass

  • Ninja Gaiden: Ragebound (Xbox Series-consoles, pc en cloud) vanaf vandaag beschikbaar via Game Pass Ultimate, Premium, PC Game Pass

  • RoadCraft (pc) vanaf vandaag beschikbaar via Game Pass Ultimate, Premium, PC Game Pass

  • The Talos Principle 2 (Xbox Series-consoles en pc) vanaf 27 januari beschikbaar via Game Pass Ultimate, Premium, PC Game Pass

  • Anno: Mutationem (console, pc en cloud) vanaf 28 januari beschikbaar via Game Pass Ultimate, Premium, PC Game Pass

  • Drop Duchy (console, pc en cloud) vanaf 28 januari beschikbaar via Game Pass Ultimate, Premium, PC Game Pass

  • MySims: Cozy Bundle (pc) vanaf 29 januari beschikbaar via Game Pass Ultimate, PC Game Pass

  • Warhammer 40,000: Space Marine 2 (Xbox Series-consoles, pc en cloud) vanaf 29 januari beschikbaar via Game Pass Ultimate, Premium, PC Game Pass

  • Indika (Xbox Series-consoles, pc en cloud) vanaf 2 februari beschikbaar via Game Pass Ultimate, PC Game Pass

  • Final Fantasy 2 (Xbox Series-consoles, pc en cloud) vanaf 3 februari beschikbaar via Game Pass Ultimate, Premium, PC Game Pass

Deze games verdwijnen op 31 januari van Xbox Game Pass:

  • Citizen Sleeper 2: Starward Vector (console, pc en cloud)

  • Lonely Mountains: Snow Riders (console, pc en cloud)

  • Orcs Must Die! Deathtrap (console, pc en cloud)

  • Paw Patrol World (console, pc en cloud)

  • Shady Part of Me (console, pc en cloud)

  • Starbound (console, pc en cloud)

Nieuw op ID: het complete plaatje

Misschien valt het je op dat er vanaf nu ook berichten over games, films en series op onze site verschijnen. Dat is een bewuste stap. Wij geloven dat technologie niet stopt bij hardware; het gaat uiteindelijk om wat je ermee beleeft. Daarom combineren we onze expertise in tech nu met het laatste nieuws over entertainment. Dat doen we met de gezichten die mensen kennen van Power Unlimited, dé experts op het gebied van gaming en streaming. Zo helpen we je niet alleen aan de beste tv, smartphone of laptop, maar vertellen we je ook direct wat je erop moet kijken of spelen. Je vindt hier dus voortaan de ideale mix van hardware én content.