Je eigen gezicht op een filmpersonage plakken is geestig en vrij onschuldig, een politicus iets laten zeggen wat hij of zij nooit gezegd heeft is al van een andere orde. We hebben het uiteraard over deepfakes. Hoe werkt de technologie achter synthetische media?

Een belangrijk containerbegrip waar deepfakes onder vallen is ‘synthetische media’. Dat staat voor content die niet door mensen is gemaakt, maar door computers gegenereerd. Het gaat bijvoorbeeld om foto’s of video’s die niet echt zijn, maar er wel heel echt uitzien. Maar het kan ook gaan om audio, teksten of virtuele objecten. De content wordt geproduceerd door een algoritme op basis van kunstmatige intelligentie (AI, artificial intelligence). 

Deze AI wordt gevoed en getraind door data, zoals foto’s met verschillende gezichtskenmerken, bewegende beelden van een persoon, teksten, muziek of het interieur van huizen. Hoe groter de dataset, des te beter de vaardigheden van het algoritme worden. Software heeft ten opzichte van mensen het voordeel dat het content met hoge snelheid en op oneindige schaal kan produceren.

Een algoritme kan op basis van een dataset met bijvoorbeeld foto’s van tienduizenden personen de gelaatskenmerken analyseren, zoals de positie en kenmerken van de ogen, neus en mond, wenkbrauwen, haar en bijvoorbeeld moedervlekken. Door die vanuit verschillende hoeken te analyseren ontstaat een 3D-model van het gezicht. 

Op basis daarvan, en de overeenkomsten en verschillen tussen mensen in de dataset, kan het algoritme zelf mensen ‘maken’. Wanneer beelden gecombineerd worden van echte mensen wordt dit een deepfake genoemd. Maar het kan ook op basis van random noise, oftewel pixels.

©PXimport

Face swappen

Een onderdeel dat vaak in het nieuws komt, is een zogenoemde deepfake-video of -foto. Hierbij wordt een persoon gedeeltelijk vervangen door een andere persoon – bijvoorbeeld door het gezicht te verwisselen. Het begrip ‘deepfake’ is een samenvoeging van twee Engelse woorden: ‘deep learning’ en ‘fake’. Deep learning is een onderdeel van ‘machine learning’, dat gebaseerd is op kunstmatige neurale netwerken. Het wordt gebruikt om bestaande afbeeldingen en video te combineren, en delen ervan te integreren. 

Bij veel deepfake-video’s wordt meestal alleen een klein deel van een persoon vervangen: het gezicht. Dit heet een ‘faceswap’. Dit scheelt kostbare rekenkracht en het is beduidend minder complex omdat niet al het haar, lichaam, kleding en de achtergrond hoeft te worden vervangen. In de praktijk worden vaak alleen de gelaatstrekken van een hoofd overgenomen, zoals de ogen, neus, wenkbrauwen, gezichtshaar en mond. Deze worden wel zo aangepast dat de kleur en de belichting van het gezicht overeenkomt met het origineel. 

Het resultaat ziet er vaak verrassend echt uit, zeker wanneer het personen betreft die qua bouw een beetje op elkaar lijken. Een bekend voorbeeld is een scène van Arnold Schwarzenegger in Terminator 2, waarbij het gezicht is vervangen door aartsrivaal Sylvester Stallone. Een faceswap is tegenwoordig zo eenvoudig dat iedere consumentencomputer het kan: er bestaat kant-en-klare opensource-software voor. Ook smartphones zijn krachtig genoeg en er zijn talloze apps, zoals Reface.

Hoe werkt deepfake?

Het manipuleren van bestaande beelden of een faceswap werkt door eerst het bronbeeld uitvoerig te analyseren: de positie en de bewegingen van alle onderdelen van het gezicht worden uitvoerig ontleedt, evenals het licht en de hoek van het gezicht. Alle individuele frames worden apart opgeslagen. Vervolgens gebeurt hetzelfde met het doelbeeld, waarbij de gezichten over elkaar worden gelegd. Hoe groter de dataset aan beelden is, des te beter is het eindresultaat.

Het produceren van een compleet nieuw beeld door een algoritme werkt anders. Dit gebeurt met een techniek die bekend staat als GAN (Generative Adversarial Network). Dit is een klasse van algoritmen voor ongecontroleerd leren. Het werkt door middel van een soort spelscenario waarbij twee neurale netwerken tegen elkaar strijden en samenwerken. 

Het eerste netwerk is de generator, die een beeld genereert (maar het kan ook een tekst of audiofragment zijn). Het tweede netwerk is de discriminator, die is getraind op een grote database van voorbeelden en probeert te detecteren of het beeld echt is, of gefabriceerd door de generator. Dit proces gaat net zo lang door tot het door het eerste netwerk geproduceerde beeld zo goed is, dat het aangemerkt wordt als echt. Het netwerk van de generator traint zichzelf dus als het ware omdat het telkens anticipeert op de afwijzingen van de discriminator. 

Een GAN die op foto’s is getraind, kan zelf beelden genereren die niet van echt te onderscheiden zijn. Deze foto’s of video’s zijn dus niet samengesteld uit echte beelden, zoals bij deepfake, maar volledig op basis van nieuwe pixels gegenereerd. Het gaat dan dus om mensen die in werkelijkheid niet bestaan, maar er wel levensecht uitzien. Voorbeelden zijn te zien op sites als thispersondoesnotexist.com. Voor katten, huiskamers en landschappen bestaat deze techniek ook.

Hollywood

De techniek worden steeds vaker toegepast in Hollywoodfilms. In Terminator Genisys, Captain Marvel, Tron: Legacy, The Irishman en Gemini werden hoofdrolspelers tientallen jaren jonger gemaakt. In 2016 zagen we een jonge Carrie Fisher als prinses Leia in Star Wars: Rogue One en in Episode IX figureerde zij zelfs na haar dood.

Amerikaanse filmmakers overwegen zelfs de in 1955 overleden acteur James Dean, te laten figureren in een nieuwe Vietnamfilm, omdat ze zijn persoon zo goed bij de rol vinden passen. Ook voor tv en op YouTube worden steeds vaker deepfakes gebruikt. Zo zond het Britse tv-netwerk Channel 4 beelden van Koningin Elizabeth uit waarbij ze een TikTok-dans deed. 

In Zondag met Lubach ontkrachtte Gerry Baudet uitspraken die door zijn ‘broertje’ waren gedaan. In december 2020 publiceerde YouTube-kanaal Sassy Justice, van de makers van South Park, een zogenaamd kerstverhaal van President Trump waarin twee rendieren onderling ruzie krijgen over de uitslag van de verkiezingen. De opname lijkt verrassend echt, inclusief de bewegingen, handgebaren, gelaatstrekken en de stem van Trump. 

Tenslotte ontstond onlangs veel reuring nadat De Correspondent een gemanipuleerd filmpje van Mark Rutte online zette, waarin het leek alsof de VVD-politicus ineens wel erg begaan was met het klimaat. Op de stem na zou je het zo geloven! 

Tekst: Jeroen Horlings

Ben je verdwaald in het eindeloze aanbod van series en films? Geen stress, wij hebben ook deze week weer het kaf van het koren gescheiden zodat je zonder keuzestress kunt bingen. Dit zijn de lekkerste nieuwe releases, speciaal voor jou op een rijtje gezet.

Roofman | Amazon Prime Video | 9 februari

De comedyfilm Roofman vertelt het waargebeurde verhaal van Jeffrey Manchester (Channing Tatum), een voortvluchtige voormalige reserveofficier van het Amerikaanse leger. Wanneer hij gepakt wordt, krijgt hij de bijnaam ‘Roofman’, omdat hij McDonald’s-filialen beroofde door via het dak naar binnen te gaan. Hij weet echter uit de gevangenis te ontsnappen en maandenlang uit handen van de politie te blijven door zich op bizarre wijze te verstoppen.

Cross (seizoen 2) | Amazon Prime Video | 11 februari

Het tweede seizoen van de misdaadserie Cross is vanaf deze woensdag te zien op Amazon Prime Video. Cross is gebaseerd op de boeken van James Patterson en volgt Alex Cross, een rechercheur en forensisch psycholoog in Washington D.C. en zijn partner Detective John Sampson. Na de moord op zijn vrouw worstelt Cross al meer dan een jaar met woedeproblemen en overweegt hij om tijdelijk verlof te nemen, tot hij bij een nieuwe zaak betrokken raakt. De eerste drie afleveringen van het nieuwe seizoen verschijnen deze week, de overige vijf worden wekelijks toegevoegd.

Predator: Badlands | Disney+ | 12 februari

De zesde Predator-film, Predator: Badlands, is vanaf deze donderdag te zien op Disney+. De jonge Yautja Dek (Dimitrius Schuster-Koloamatangi) is verstoten door zijn clan. Om het respect van zijn volk terug te winnen, gaat hij erop uit om het op te nemen tegen het gevaarlijkste monster in het universum. Tijdens zijn reis wordt hij gedwongen samen te werken met de android Thia (Elle Fanning). Onze Dunke vond de film destijds een frisse wind:

“Als actieblockbuster vinkt Predator: Badlands alle goede vakjes af. Fantastische actiescènes voel je tot op je botten door de keiharde soundtrack, het verhaal doet precies genoeg om de vele set pieces te waarborgen en de meedogenloze Yautja worden in een intrigerend nieuw licht neergezet.”

The Grand Budapest Hotel | Netflix | 12 februari

The Grand Budapest Hotel speelt zich af in de jaren twintig van de vorige eeuw en volgt een hotel-conciërge, Monsieur Gustave (Ralph Fiennes). Na een one-night-stand met de rijke Madame D. (Tilda Swinton), wordt zij op mysterieuze wijze vermoord en erft Gustave een kostbaar schilderij. Hij wordt als schuldige voor haar moord aangewezen en moet zich met de hulp van de lobbyjongen Zero Moustafa (Tony Revolori) en zijn vriendinnetje Agatha (Saoirse Ronan) zien te verstoppen voor de autoriteiten en de zoon van Madame D, Dimitri (Adrien Brody). The Grand Budapest Hotel is zonder twijfel een van regisseur Wes Andersons beste films. Voor wie houdt van charmante en absurde verhalen, is deze film absoluut het kijken waard. 

Daddio | HBO Max | 13

Daddio speelt zich volledig af in een taxi die van JFK Airport naar Manhattan rijdt. Normaal gesproken duurt die rit minder dan een uur, maar door een ongeluk komen de hoofdpersonen vast te zitten in het verkeer. De chauffeur, Clark (Sean Penn), en zijn passagier, die alleen bekendstaat als Girlie (Dakota Johnson), hebben ineens veel tijd te doden. In eerste instantie bestaat het gesprek uit de smalltalk die je in een taxi verwacht. Hoe langer ze praten, hoe dieper het gesprek echter wordt en de twee beginnen een onverwachte band te vormen.

De afgelopen najaar aangekondigde remake van de eerste Halo, genaamd Halo: Campaign Evolved, zou mogelijk al ergens aankomende zomer verschijnen.

Dat claimt The Verge-journalist Tom Warren van bronnen te hebben vernomen. Toen de game vorig jaar werd aangekondigd, werd gemeld dat het spel ergens in 2026 uit zou komen, maar werd er geen preciezere indicatie gegeven.

Warren meldt nu dat de game dus waarschijnlijk ergens aankomende zomer uitkomt. Wel wordt benadrukt dat de releasedatum nog niet helemaal zeker is, en dat er dus nog vertragingen kunnen plaatsvinden.

Warren meldt daarnaast overigens dat er ook nog altijd gewerkt wordt aan een remake van Fallout 3. Daar gaan al jaren geruchten over, maar vooralsnog is die remake niet officieel aangekondigd. De remake zou volgens Warren in ieder geval van vergelijkbare kwaliteit moeten worden als de remake van The Elder Scrolls 4: Oblivion.

Halo voor het eerst naar PlayStation

De remake van de singleplayercampagne van Halo: Combad Evolved werd zoals gezegd vorig najaar aangekondigd. De game krijgt daarbij verbeterde graphics, aangepaste filmpjes en verfijndere besturing. Campaign Evolved draait daarbij op Unreal Engine 5. De game bevat daarnaast nieuwe missies, wapens en de mogelijkheid om te sprinten.

Overigens is het grootste nieuws rondom deze Halo-game dat hij niet alleen naar Xbox Series-consoles en pc komt, maar ook naar PlayStation 5. Het is voor het eerst dat er een Halo-game naar een Sony-console komt.