ID.nl logo
De technologie achter deepfake en synthetische media
© Reshift Digital
Huis

De technologie achter deepfake en synthetische media

Je eigen gezicht op een filmpersonage plakken is geestig en vrij onschuldig, een politicus iets laten zeggen wat hij of zij nooit gezegd heeft is al van een andere orde. We hebben het uiteraard over deepfakes. Hoe werkt de technologie achter synthetische media?

Een belangrijk containerbegrip waar deepfakes onder vallen is ‘synthetische media’. Dat staat voor content die niet door mensen is gemaakt, maar door computers gegenereerd. Het gaat bijvoorbeeld om foto’s of video’s die niet echt zijn, maar er wel heel echt uitzien. Maar het kan ook gaan om audio, teksten of virtuele objecten. De content wordt geproduceerd door een algoritme op basis van kunstmatige intelligentie (AI, artificial intelligence). 

Deze AI wordt gevoed en getraind door data, zoals foto’s met verschillende gezichtskenmerken, bewegende beelden van een persoon, teksten, muziek of het interieur van huizen. Hoe groter de dataset, des te beter de vaardigheden van het algoritme worden. Software heeft ten opzichte van mensen het voordeel dat het content met hoge snelheid en op oneindige schaal kan produceren.

Een algoritme kan op basis van een dataset met bijvoorbeeld foto’s van tienduizenden personen de gelaatskenmerken analyseren, zoals de positie en kenmerken van de ogen, neus en mond, wenkbrauwen, haar en bijvoorbeeld moedervlekken. Door die vanuit verschillende hoeken te analyseren ontstaat een 3D-model van het gezicht. 

Op basis daarvan, en de overeenkomsten en verschillen tussen mensen in de dataset, kan het algoritme zelf mensen ‘maken’. Wanneer beelden gecombineerd worden van echte mensen wordt dit een deepfake genoemd. Maar het kan ook op basis van random noise, oftewel pixels.

©PXimport

Face swappen

Een onderdeel dat vaak in het nieuws komt, is een zogenoemde deepfake-video of -foto. Hierbij wordt een persoon gedeeltelijk vervangen door een andere persoon – bijvoorbeeld door het gezicht te verwisselen. Het begrip ‘deepfake’ is een samenvoeging van twee Engelse woorden: ‘deep learning’ en ‘fake’. Deep learning is een onderdeel van ‘machine learning’, dat gebaseerd is op kunstmatige neurale netwerken. Het wordt gebruikt om bestaande afbeeldingen en video te combineren, en delen ervan te integreren. 

Bij veel deepfake-video’s wordt meestal alleen een klein deel van een persoon vervangen: het gezicht. Dit heet een ‘faceswap’. Dit scheelt kostbare rekenkracht en het is beduidend minder complex omdat niet al het haar, lichaam, kleding en de achtergrond hoeft te worden vervangen. In de praktijk worden vaak alleen de gelaatstrekken van een hoofd overgenomen, zoals de ogen, neus, wenkbrauwen, gezichtshaar en mond. Deze worden wel zo aangepast dat de kleur en de belichting van het gezicht overeenkomt met het origineel. 

Het resultaat ziet er vaak verrassend echt uit, zeker wanneer het personen betreft die qua bouw een beetje op elkaar lijken. Een bekend voorbeeld is een scène van Arnold Schwarzenegger in Terminator 2, waarbij het gezicht is vervangen door aartsrivaal Sylvester Stallone. Een faceswap is tegenwoordig zo eenvoudig dat iedere consumentencomputer het kan: er bestaat kant-en-klare opensource-software voor. Ook smartphones zijn krachtig genoeg en er zijn talloze apps, zoals Reface.

Hoe werkt deepfake?

Het manipuleren van bestaande beelden of een faceswap werkt door eerst het bronbeeld uitvoerig te analyseren: de positie en de bewegingen van alle onderdelen van het gezicht worden uitvoerig ontleedt, evenals het licht en de hoek van het gezicht. Alle individuele frames worden apart opgeslagen. Vervolgens gebeurt hetzelfde met het doelbeeld, waarbij de gezichten over elkaar worden gelegd. Hoe groter de dataset aan beelden is, des te beter is het eindresultaat.

Het produceren van een compleet nieuw beeld door een algoritme werkt anders. Dit gebeurt met een techniek die bekend staat als GAN (Generative Adversarial Network). Dit is een klasse van algoritmen voor ongecontroleerd leren. Het werkt door middel van een soort spelscenario waarbij twee neurale netwerken tegen elkaar strijden en samenwerken. 

Het eerste netwerk is de generator, die een beeld genereert (maar het kan ook een tekst of audiofragment zijn). Het tweede netwerk is de discriminator, die is getraind op een grote database van voorbeelden en probeert te detecteren of het beeld echt is, of gefabriceerd door de generator. Dit proces gaat net zo lang door tot het door het eerste netwerk geproduceerde beeld zo goed is, dat het aangemerkt wordt als echt. Het netwerk van de generator traint zichzelf dus als het ware omdat het telkens anticipeert op de afwijzingen van de discriminator. 

Een GAN die op foto’s is getraind, kan zelf beelden genereren die niet van echt te onderscheiden zijn. Deze foto’s of video’s zijn dus niet samengesteld uit echte beelden, zoals bij deepfake, maar volledig op basis van nieuwe pixels gegenereerd. Het gaat dan dus om mensen die in werkelijkheid niet bestaan, maar er wel levensecht uitzien. Voorbeelden zijn te zien op sites als thispersondoesnotexist.com. Voor katten, huiskamers en landschappen bestaat deze techniek ook.

Hollywood

De techniek worden steeds vaker toegepast in Hollywoodfilms. In Terminator Genisys, Captain Marvel, Tron: Legacy, The Irishman en Gemini werden hoofdrolspelers tientallen jaren jonger gemaakt. In 2016 zagen we een jonge Carrie Fisher als prinses Leia in Star Wars: Rogue One en in Episode IX figureerde zij zelfs na haar dood.

Amerikaanse filmmakers overwegen zelfs de in 1955 overleden acteur James Dean, te laten figureren in een nieuwe Vietnamfilm, omdat ze zijn persoon zo goed bij de rol vinden passen. Ook voor tv en op YouTube worden steeds vaker deepfakes gebruikt. Zo zond het Britse tv-netwerk Channel 4 beelden van Koningin Elizabeth uit waarbij ze een TikTok-dans deed. 

In Zondag met Lubach ontkrachtte Gerry Baudet uitspraken die door zijn ‘broertje’ waren gedaan. In december 2020 publiceerde YouTube-kanaal Sassy Justice, van de makers van South Park, een zogenaamd kerstverhaal van President Trump waarin twee rendieren onderling ruzie krijgen over de uitslag van de verkiezingen. De opname lijkt verrassend echt, inclusief de bewegingen, handgebaren, gelaatstrekken en de stem van Trump. 

Tenslotte ontstond onlangs veel reuring nadat De Correspondent een gemanipuleerd filmpje van Mark Rutte online zette, waarin het leek alsof de VVD-politicus ineens wel erg begaan was met het klimaat. Op de stem na zou je het zo geloven! 

Tekst: Jeroen Horlings

▼ Volgende artikel
Review: High On Life 2 schiet humoristisch scherp, maar technisch mis
© Squanch Games
Huis

Review: High On Life 2 schiet humoristisch scherp, maar technisch mis

High On Life bewees anno 2022 dat een humoristisch schietspel vandaag de dag bestaansrecht heeft. Genoeg bestaansrecht voor een volwaardig vervolg zelfs. High On Life 2 neemt een nog groter nakkie van hetzelfde spul. Verwacht een groter avontuur, meer bizarre vuurgevechten en een lachkick of twee, maar ook regelmatig een inkakker op het technische front.

We nemen het je niet kwalijk als je High On Life 2 niet aan hebt zien komen. Wij ook niet. Het eerste High On Life was succesvol genoeg, maar had ook prima op zichzelf kunnen blijven staan als one off. Des te meer nadat Justin Roiland, de oprichter van Squanch Games en prominent stemacteur in alle daar ontwikkelde games, in 2023 zijn banden met de studio verbrak. Dit kwam nadat Adult Swim - de studio achter Rick and Morty - de banden met hem verbrak wegens aanklachten van huiselijk geweld tegenover Roiland, ondanks dat de zaak werd geseponeerd wegens gebrek aan bewijs.

©Squanch Games

Dat voelt ergens nogal dubbel. Squanch’ eerste titel ‘post-Roiland’ is een vervolg op een game waar zijn stem en stijl onherroepelijk aan zijn verbonden. Het maakt de juiste toon vinden er vast niet makkelijker op. Desalniettemin: ditmaal dus geen Roiland, maar wel een tweede High On Life. Hetzelfde middel, nu op nieuw recept – al merk je dat lang niet altijd.

Doe maar een grammetje van het gebruikelijke

High On Life 2 is een vervolg in de puurste zin van het woord. De game blikt summier terug op het origineel en stort de speler linea recta in eenzelfde soort avontuur. Weer wil een kwaadaardige partij de mensheid tot drugs maken. Aan jouw stilzwijgende mensprotagonist om daar weer een stokje voor te steken. Gewapend met een boel bekende en nieuwe Gatliens – een ras bestaande uit pratende wapens met uiteenlopende persoonlijkheden – trekken we erop uit om ruimtegespuis aan gort te knallen.

Watch on YouTube

Het enige verschil is de kwaadaardige partij in kwestie. Dat blijkt ditmaal geen moordlustig ruimtekartel, maar een groot farmaceutisch bedrijf. Met propaganda en politieke inmenging pogen zij de mensheid te reduceren tot vee, zodat mensen ‘legaal’ tot drugs verpulverd mogen worden. Sommige plotpunten verwijzen vrij letterlijk naar de wandaden van politici en Big Pharma in real life, maar High On Life 2 duikt nooit te diep in de thematiek. Onderaan de streep is het verhaal wederom een excuus om veel grapjes en meta-referenties te maken.

Genoeg te lachen

Laten we wel wezen: je speelt High On Life 2 voornamelijk voor die grapjes. Het eerste deel voelde als een soort interactieve spin-off van Rick and Morty – niet zo gek ook met bedenker Roiland achter het stuur – en deel twee houdt dat gevoel stevig vast. Aan de lopende band stort de game je in rare ruimtescenario’s, met úren aan absurd en grofgebekt stemmenwerk. Het klinkt allemaal ontzettend Justin Roiland-esk, ondanks de afwezigheid van die geestesvader. Roilands stem hoor je nergens meer terug, maar zijn vaste motieven, meta-humor en stamelende toon worden naadloos doorgezet.

©Squanch Games

De rode draad van High On Life 2 houdt je snel 10 à 12 uur bezig. In die tijdsspan vindt de game genoeg momenten om een paar lachjes te winnen. De ene keer doet het dat met geïmproviseerde meta-referenties, de andere keer met onverwachte spelmechanieken, zoals een quiz over belastingontduiking of een verborgen DOS-spel in het hoofdmenu van je ruimtepak. Als je goed gaat op absurdistische cartoonseries, dan ga je ook gewoon weer lekker op High On Life 2.

Sneller, groter, Higher On Life

Maar goed, High On Life 2 moest als vervolgdeel toch minstens de grotere en diversere High On Life worden – en zo geschiedde. Gaandeweg introduceert High On Life 2 niet alleen meer wapens dan voorheen, maar ook een skateboard en een drietal hubwerelden om al skateboardend uit te pluizen. Radical. Jammer genoeg pakt niet elk addendum op de gevestigde formule even sterk uit.

©Squanch Games

De bijna volautomatische skateboardbesturing brengt de vele schietpartijen wat speelse dynamiek, een beetje vergelijkbaar met Sunset Overdrive. Door voortdurend te blijven skaten, veel te grinden en acrobatisch heen en weer te grijphaak-slingeren, ontwijk je veel schoten en zoef je snel van slachtoffer naar slachtoffer. Het voelt uiteindelijk aardig fluïde.

Over het schietwerk gesproken: dat kan er allemaal mee door. High On Life 2 is nog altijd geen kunstige dans à la Doom, maar met het skateboard krijgt de gunplay ironisch genoegtoch iets meer eigen gezicht. De snelle wendbaarheid combineert goed met uitbundige wapens en de mild chaotische shootouts. Bovendien legt het skateboard een bouwsteen voor snelle verplaatsing en platformuitdagingen, die weer vaker van pas komen in de drie grotere hubwerelden.

©Squanch Games

Laten het nou net die hubs zijn die minder overtuigen. Hier vinden we winkels, verzamelobjecten en optionele zijmissies, met daarover een dun gespreid laagje van platformpuzzeltjes en wat komische interacties. Conceptueel leuk bedacht, maar in de praktijk schiet de invulling van de werelden tekort. De overwegend lege hubs komen wat zielloos over en verkenning wordt maar zelden beloond met een leuke zijmissie of memorabele collectible. Zie het als een soort microdosering van een beter doordachte open spelwereld.

Een bad trip, technisch gezien

Squanch Games heeft duidelijk grotere ambities, maar de uitwerking laat vaak te wensen over. Dat wordt echter pas pijnlijk als we het over de techniek achter High On Life 2 hebben. Die vliegt, denkelijk te wijten aan de grotere schaal, met regelmaat vol op zijn bek. Zelden speelde ik een singleplayershooter die zo instabiel was. Op de consoles schijnt dat nog alleszins mee te vallen, maar de pc-versie van High On Life 2 is een zooitje.

©Squanch Games

De instabiliteit is lastig te isoleren. Het zit in alles. Van ontbrekende geluidseffecten en  afgekapte stemopnames tot door de grond clippen en harde crashes. In mijn 25 uur speeltijd is de game zeker tien keer abrupt uitgevallen. De ene keer in een doodnormaal menu, de andere keer tijdens een baasgevecht. Daarbovenop komen nog een handvol soft locks – momenten waarin een missie of specifieke opdracht door een fout plots niet meer te voltooien is.

Wanneer High On Life 2 draaiende blijft, draait de game verre van optimaal. Zelfs met een flinke laag DLSS-upscaling heeft het spel moeite om een stabiele 60 frames per seconde aan te leveren in 1440p, nota bene op een nog relatief beefy RTX 3090 en Ryzen 9 5950X. Toch verandert de gemiddelde schietarena of wat snel skateboardwerk uiteindelijk in een barrage van microstottering. Onder andere Steam en Reddit staan momenteel bol van de klaagzang over de slordige technische staat van de game. Geheel terecht.

©Squanch Games

Stel deze trip nog even uit

De technische mankement voelen extra wrang wanneer je inziet dat High On Life 2 ook niet bepaald een prachtgame is. De kleurrijke, lompe stijl heeft zijn eigen plakkerige charme, maar grafisch gezien is het geen hoogstandje. In de achterhaalde lichteffecten en vaak maar half ingeladen texturen zie je een B-titel van de vorige consolegeneratie terug. Dat past ergens prima bij de banale insteek van het spel, maar laat het dan op zijn minst redelijk draaien. Daarin schiet High On Life 2 gruwelijk tekort, in ieder geval rond de releaseperiode.

Met name door de technische staat is het lastig om High On Life 2 aan te raden. Al ben je nog zo’n liefhebber van het origineel of grove scifihumor in het algemeen; lachen wordt moeilijk als de game elk moment de geest kan geven. Sowieso doet iedereen er daarom goed aan om deze trip uit te stellen, in ieder geval totdat Squanch Games de broodnodige patches uitrolt. De grappen werken immers het beste als ze niet halverwege een zin wegvallen.

High On LIfe 2 is nu verkrijgbaar voor PlayStation 5, Xbox Series-consoles en pc. Op 20 april aanstaande komt de game ook uit op Nintendo Switch 2. Voor deze review is de game op een gedegen pc gespeeld.

Oké
Conclusie

Kijken we even om de technische kreukels heen – ervan uitgaande dat deze spoedig gladgestreken worden – dan is High On Life 2 op zijn minst een waardig vervolgdeel. Squanch Games nam her en der te veel hooi op de vork, maar ergens in die hooi zit ‘gewoon weer’ een dikke tien uur aan geinig ruimteavontuur verscholen. De grotere schaal wasn’t it, Chief, maar tijdens de rit landen er voldoende grapjes om de misplaatste ambities voor lief te nemen.

Plus- en minpunten
  • Vaak genoeg voldoende grappig
  • Skateboard versoepelt de formule
  • Meer variatie in wapens en content
  • Veelal overtuigend stemmenwerk
  • Grotere hubwerelden voelen zielloos
  • Technisch ontzettend slordig (zeker op pc)
  • Grafisch geen hoogstandje
▼ Volgende artikel
Destiny 2-update Shadow and Order met een kwartaal uitgesteld
Huis

Destiny 2-update Shadow and Order met een kwartaal uitgesteld

Shadow and Order, de langverwachte nieuwe update voor Destiny 2, is enkele weken voor release met een ruime drie maanden uitgesteld.

Shadow and Order stond eigenlijk gepland voor een release op 3 maart, maar zal nu pas op 9 juni uitkomen. Een grote verrassing voor fans van de game is dat niet, want ondanks dat de releasedatum naderde bleef het stil rondom het spel. Daarbij brengt Bungie, de ontwikkelaar van Destiny 2, op 5 maart ook al de nieuwe multiplayershooter Marathon uit.

Bungie heeft inmiddels dus bevestigd dat Shadow and Order op 9 juni zal verschijnen. "De update wordt aangepast en uitgebreid om forse quality-of-life-verbeteringen door te voeren en zal ook een nieuwe naam krijgen."

View post on X

Veel meer details werden niet gegeven, maar Bungie laat weten dat er dichterbij de releasedatum meer informatie bekend wordt gemaakt. Eerder werd al gemeld dat de dlc nieuwe 'Weapon Tier Upgrading' zal bevatten, alsmede Pantheon 2.0. Zover bekend wordt dit alles via een gratis update geleverd.

De uitbreiding maakt onderdeel uit van een vorig jaar begonnen, meerjarige verhaal-arc genaamd The Fate Saga. Bungie meldde daarbij dat Destiny 2 elk jaar twee betaalde verhalende updates en twee gratis updates krijgt. Shadow and Order - of hoe de update straks ook gaat heten - zal dus gratis zijn.

Destiny 2 kampt al geruime tijd met dalende spelersaantallen en veel klachten van fans. De hierboven genoemde nieuwe jaarlijkse structuur van de game was een poging van Bungie om fans weer tevreden te stellen, maar vooralsnog lijkt dat niet echt te lukken - en dit uitstel zal ook niet helpen.

Bungie komt binnenkort met Marathon

Zoals gezegd staat er binnenkort wel een nieuwe game van Bungie op stapel, namelijk Marathon. Dat is een player-versus-player extraction-shooter met een sciencefictionthema. In de game besturen spelers een soort futuristische huurmoordenaars die ook wel Runners worden genoemd. Spelers verkennen een verloren kolonie op de planeet Tau Ceti IV en vechten het tijdens het verzamelen van loot tegen elkaar uit. Er kan in teamsverband of alleen gespeeld worden.

De game komt op 5 maart naar PlayStation 5, Xbox Series X en S en Steam. De standaard editie gaat 39,99 euro kosten. Mensen die de game aanschaffen, krijgen het gehele jaar door nieuwe content voorgeschoteld, inclusief nieuwe maps en evenementen. Vanaf 26 februari tot en met 2 maart wordt er daarnaast een open bèta voor de game gehouden. Deze 'server slam' is bedoeld om de servers te testen voordat het spel uitkomt.