Je eigen gezicht op een filmpersonage plakken is geestig en vrij onschuldig, een politicus iets laten zeggen wat hij of zij nooit gezegd heeft is al van een andere orde. We hebben het uiteraard over deepfakes. Hoe werkt de technologie achter synthetische media?

Een belangrijk containerbegrip waar deepfakes onder vallen is ‘synthetische media’. Dat staat voor content die niet door mensen is gemaakt, maar door computers gegenereerd. Het gaat bijvoorbeeld om foto’s of video’s die niet echt zijn, maar er wel heel echt uitzien. Maar het kan ook gaan om audio, teksten of virtuele objecten. De content wordt geproduceerd door een algoritme op basis van kunstmatige intelligentie (AI, artificial intelligence). 

Deze AI wordt gevoed en getraind door data, zoals foto’s met verschillende gezichtskenmerken, bewegende beelden van een persoon, teksten, muziek of het interieur van huizen. Hoe groter de dataset, des te beter de vaardigheden van het algoritme worden. Software heeft ten opzichte van mensen het voordeel dat het content met hoge snelheid en op oneindige schaal kan produceren.

Een algoritme kan op basis van een dataset met bijvoorbeeld foto’s van tienduizenden personen de gelaatskenmerken analyseren, zoals de positie en kenmerken van de ogen, neus en mond, wenkbrauwen, haar en bijvoorbeeld moedervlekken. Door die vanuit verschillende hoeken te analyseren ontstaat een 3D-model van het gezicht. 

Op basis daarvan, en de overeenkomsten en verschillen tussen mensen in de dataset, kan het algoritme zelf mensen ‘maken’. Wanneer beelden gecombineerd worden van echte mensen wordt dit een deepfake genoemd. Maar het kan ook op basis van random noise, oftewel pixels.

©PXimport

Face swappen

Een onderdeel dat vaak in het nieuws komt, is een zogenoemde deepfake-video of -foto. Hierbij wordt een persoon gedeeltelijk vervangen door een andere persoon – bijvoorbeeld door het gezicht te verwisselen. Het begrip ‘deepfake’ is een samenvoeging van twee Engelse woorden: ‘deep learning’ en ‘fake’. Deep learning is een onderdeel van ‘machine learning’, dat gebaseerd is op kunstmatige neurale netwerken. Het wordt gebruikt om bestaande afbeeldingen en video te combineren, en delen ervan te integreren. 

Bij veel deepfake-video’s wordt meestal alleen een klein deel van een persoon vervangen: het gezicht. Dit heet een ‘faceswap’. Dit scheelt kostbare rekenkracht en het is beduidend minder complex omdat niet al het haar, lichaam, kleding en de achtergrond hoeft te worden vervangen. In de praktijk worden vaak alleen de gelaatstrekken van een hoofd overgenomen, zoals de ogen, neus, wenkbrauwen, gezichtshaar en mond. Deze worden wel zo aangepast dat de kleur en de belichting van het gezicht overeenkomt met het origineel. 

Het resultaat ziet er vaak verrassend echt uit, zeker wanneer het personen betreft die qua bouw een beetje op elkaar lijken. Een bekend voorbeeld is een scène van Arnold Schwarzenegger in Terminator 2, waarbij het gezicht is vervangen door aartsrivaal Sylvester Stallone. Een faceswap is tegenwoordig zo eenvoudig dat iedere consumentencomputer het kan: er bestaat kant-en-klare opensource-software voor. Ook smartphones zijn krachtig genoeg en er zijn talloze apps, zoals Reface.

Hoe werkt deepfake?

Het manipuleren van bestaande beelden of een faceswap werkt door eerst het bronbeeld uitvoerig te analyseren: de positie en de bewegingen van alle onderdelen van het gezicht worden uitvoerig ontleedt, evenals het licht en de hoek van het gezicht. Alle individuele frames worden apart opgeslagen. Vervolgens gebeurt hetzelfde met het doelbeeld, waarbij de gezichten over elkaar worden gelegd. Hoe groter de dataset aan beelden is, des te beter is het eindresultaat.

Het produceren van een compleet nieuw beeld door een algoritme werkt anders. Dit gebeurt met een techniek die bekend staat als GAN (Generative Adversarial Network). Dit is een klasse van algoritmen voor ongecontroleerd leren. Het werkt door middel van een soort spelscenario waarbij twee neurale netwerken tegen elkaar strijden en samenwerken. 

Het eerste netwerk is de generator, die een beeld genereert (maar het kan ook een tekst of audiofragment zijn). Het tweede netwerk is de discriminator, die is getraind op een grote database van voorbeelden en probeert te detecteren of het beeld echt is, of gefabriceerd door de generator. Dit proces gaat net zo lang door tot het door het eerste netwerk geproduceerde beeld zo goed is, dat het aangemerkt wordt als echt. Het netwerk van de generator traint zichzelf dus als het ware omdat het telkens anticipeert op de afwijzingen van de discriminator. 

Een GAN die op foto’s is getraind, kan zelf beelden genereren die niet van echt te onderscheiden zijn. Deze foto’s of video’s zijn dus niet samengesteld uit echte beelden, zoals bij deepfake, maar volledig op basis van nieuwe pixels gegenereerd. Het gaat dan dus om mensen die in werkelijkheid niet bestaan, maar er wel levensecht uitzien. Voorbeelden zijn te zien op sites als thispersondoesnotexist.com. Voor katten, huiskamers en landschappen bestaat deze techniek ook.

Hollywood

De techniek worden steeds vaker toegepast in Hollywoodfilms. In Terminator Genisys, Captain Marvel, Tron: Legacy, The Irishman en Gemini werden hoofdrolspelers tientallen jaren jonger gemaakt. In 2016 zagen we een jonge Carrie Fisher als prinses Leia in Star Wars: Rogue One en in Episode IX figureerde zij zelfs na haar dood.

Amerikaanse filmmakers overwegen zelfs de in 1955 overleden acteur James Dean, te laten figureren in een nieuwe Vietnamfilm, omdat ze zijn persoon zo goed bij de rol vinden passen. Ook voor tv en op YouTube worden steeds vaker deepfakes gebruikt. Zo zond het Britse tv-netwerk Channel 4 beelden van Koningin Elizabeth uit waarbij ze een TikTok-dans deed. 

In Zondag met Lubach ontkrachtte Gerry Baudet uitspraken die door zijn ‘broertje’ waren gedaan. In december 2020 publiceerde YouTube-kanaal Sassy Justice, van de makers van South Park, een zogenaamd kerstverhaal van President Trump waarin twee rendieren onderling ruzie krijgen over de uitslag van de verkiezingen. De opname lijkt verrassend echt, inclusief de bewegingen, handgebaren, gelaatstrekken en de stem van Trump. 

Tenslotte ontstond onlangs veel reuring nadat De Correspondent een gemanipuleerd filmpje van Mark Rutte online zette, waarin het leek alsof de VVD-politicus ineens wel erg begaan was met het klimaat. Op de stem na zou je het zo geloven! 

Tekst: Jeroen Horlings

Eens in de zoveel tijd geeft Microsoft ons een kijkje in de keuken van verschillende ontwikkelaars middels een Xbox Developer Direct. Deze week is het weer zover, en krijgen we meer te weten over aankomende games Fable, Gran Turismo 6 en Beast of Reincarnation. Hieronder vind je de stream, de tijden en onze verwachtingen.

De Xbox Developer Direct is een presentatie waarin de ontwikkelaars van verschillende games rechtstreeks aan spelers kunnen vertellen over hun aankomende titels. De eerste editie van 2026 wordt op donderdag 22 januari, om 19:00 uur Nederlandse tijd uitgezonden. 

De presentatie is dan te bekijken op het YouTube- en Twitch-kanaal van Xbox, maar is ook hieronder live te zien. De lengte van deze Developer Direct is nog niet zeker, maar vorige edities namen zo’n vijftig minuten in beslag. 

Programma van de Developer Direct

Daarbij is al bekend welke games er getoond gaan worden. Twee daarvan komen uit de stal van Playground Games, de ontwikkelaar van de Forza Horizon-games die dan ook het zesde deel in die racefranchise en de nieuwe spelwereld in Japan uitgebreid laat zien. Ook is het goed mogelijk dat de releasedatum van het spel tijdens de Developer Direct wordt onthuld, gezien die vorige week mogelijk gelekt is. 

Maar Playground werkt ook al jarenlang aan een ander, zeer geanticipeerd project: Fable. Dit gaat niet om een remake, maar een gloednieuwe game in de geliefde fantasyfranchise. De game werd in 2020 aangekondigd dus de hoop is dat het spel ergens dit jaar verschijnt. Gezien Playground blijkbaar klaar is om meer te gaan onthullen over het spel achten we dat ook wel mogelijk. Er is vooralsnog maar weinig bekend over deze nieuwe Fable-titel, dus we hopen vooral veel te zien over hoe het speelt en hoe diep we in de wereld van Albion kunnen duiken. De diepgang van de quests was immers wat Fable zo grijpend maakte.

Een ietwat onverwachte verschijning in een Xbox-presentatie is ontwikkelaar Game Freak. Dit Japanse bedrijf staat immers bekend om de Pokémon-games die exclusief op Nintendo-consoles uitkomen, maar zoals vorig jaar duidelijk werd, wordt er ook gewerkt aan een geheel andere game. Beast of Reincarnation is een prachtig ogende rpg die zich afspeelt in een post-apocalyptische versie van Japan, en er is een hele grote hond van de partij. De interesse is dus wel gewekt, maar Game Freak moet wel even bewijzen dat er meer redenen zijn om geïnteresseerd te worden dan “de Pokémon-makers maken een Xbox-game”. 

Fallout-remasters?

Opvallend aan deze editie van de Xbox Developer Direct is dat er drie games uitgelicht worden. In eerdere edities waren dit er vier, waardoor fans speculeren dat er nog een geheime aankondiging komt. Insiders als Jez Corden, die in het verleden correcte informatie naar buiten heeft gebracht, zeggen dat er inderdaad een vierde aankondiging is. Er is een mogelijkheid dat dit remasters van Fallout 3, Fallout: New Vegas of beide betreft. Geruchten over opgepoetste versies van die spellen gaan al geruime tijd rond, en gezien het tweede seizoen van de Fallout-serie op Amazon Prime Video bijna ten einde komt, lijken de sterren er perfect voor in de hemel te staan.

©Obsidian Entertainment

Het lijkt echter iets anders te lopen, gezien diezelfde Jez Corden nu claimt dat de Fallout-remasters 'niet bepaald aanstaande' zijn, en niet á la The Elder Scrolls 4: Oblivion Remastered plotseling uitgebracht worden tijdens de Developer Direct.

Daarbij gaan er andere geruchten rond vanuit onder andere de website VGC, dat deze vierde aankondiging een ‘kleinschalige, originele game van een first-party Xbox-ontwikkelaar’ is. Geen bestaand IP dus, wat speculatie over wat het zou kunnen zijn lastig maakt. Enfin, donderdag komt er ongetwijfeld duidelijkheid.

Nintendo heeft een gratis update voor de Switch-game Donkey Kong Country Returns HD uitgebracht, waarmee er nieuwe content wordt toegevoegd en de game beter draait op de Nintendo Switch 2.

Update 1.1.0 is zowel op Switch als Switch 2 beschikbaar en voegt content aan het spel op beide systemen toe. Zo is het vanaf nu mogelijk om als Dixie Kong te spelen - naast de eerdere speelbare personages Donkey Kong en Diddy Kong. Dixie kan kort door de lucht zweven door de staart in haar haar te gebruiken, zodat Donkey Kong hoger gelegen gebieden kan bereiken.

De update voegt ook Turbo Attack toe, een snellere versie van de Time Attack-modus waarbij spelers zo snel mogelijk door levels in het spel moeten zien te rennen.

Switch 2-upgrade

Op de Nintendo Switch 2 voegt de update voor Donkey Kong Country Returns HD nog meer extra's toe. Zo is de beeldkwaliteit van de game verbeterd om het spel beter te laten ogen op moderne televisies met een hoge resolutie. Ook zijn de laadtijden ingekort en kan men GameShare gebruiken om het spel lokaal samen met een andere gamer te spelen.

Over Donkey Kong Country Returns HD

De oorspronkelijke Donkey Kong Country Returns verscheen in 2010 op de Wii. De 2D-platformer is ontwikkeld door Retro Studios, tevens de ontwikkelaar van de Metroid Prime-reeks. Met het spel werd er een vervolg gegeven aan de Donkey Kong Country-trilogie op de Super NES, en de gameplay is dan ook vergelijkbaar.

Wel uniek is dat het spel meer gebruikmaakt van 3D-aspecten in levels op vooraf bepaalde momenten, waardoor de camera soms kan veranderen of de speelbare personages in de achtergrond of juist op de voorgrond verschijnen. Ook heeft het spel een speelser uiterlijk dan de oorspronkelijke Donkey Kong Country-games.

In 2013 werd de game overgezet naar de Nintendo 3DS. Begin vorig jaar kwam er een remaster uit op de Nintendo Switch, genaamd Donkey Kong Country Returns HD. Het is deze versie van de game die deze nieuwe update heeft ontvangen.

Op de Wii U kwam overigens ook een direct vervolg uit op Donkey Kong Country Returns, genaamd Donkey Kong Country: Tropical Freeze. Dat spel wordt door fijnproevers als een van de beste 2D-platformers ooit gezien. Ook deze game is opnieuw uitgebracht op de Nintendo Switch.