ID.nl logo
De technologie achter deepfake en synthetische media
© Reshift Digital
Huis

De technologie achter deepfake en synthetische media

Je eigen gezicht op een filmpersonage plakken is geestig en vrij onschuldig, een politicus iets laten zeggen wat hij of zij nooit gezegd heeft is al van een andere orde. We hebben het uiteraard over deepfakes. Hoe werkt de technologie achter synthetische media?

Een belangrijk containerbegrip waar deepfakes onder vallen is ‘synthetische media’. Dat staat voor content die niet door mensen is gemaakt, maar door computers gegenereerd. Het gaat bijvoorbeeld om foto’s of video’s die niet echt zijn, maar er wel heel echt uitzien. Maar het kan ook gaan om audio, teksten of virtuele objecten. De content wordt geproduceerd door een algoritme op basis van kunstmatige intelligentie (AI, artificial intelligence). 

Deze AI wordt gevoed en getraind door data, zoals foto’s met verschillende gezichtskenmerken, bewegende beelden van een persoon, teksten, muziek of het interieur van huizen. Hoe groter de dataset, des te beter de vaardigheden van het algoritme worden. Software heeft ten opzichte van mensen het voordeel dat het content met hoge snelheid en op oneindige schaal kan produceren.

Een algoritme kan op basis van een dataset met bijvoorbeeld foto’s van tienduizenden personen de gelaatskenmerken analyseren, zoals de positie en kenmerken van de ogen, neus en mond, wenkbrauwen, haar en bijvoorbeeld moedervlekken. Door die vanuit verschillende hoeken te analyseren ontstaat een 3D-model van het gezicht. 

Op basis daarvan, en de overeenkomsten en verschillen tussen mensen in de dataset, kan het algoritme zelf mensen ‘maken’. Wanneer beelden gecombineerd worden van echte mensen wordt dit een deepfake genoemd. Maar het kan ook op basis van random noise, oftewel pixels.

©PXimport

Face swappen

Een onderdeel dat vaak in het nieuws komt, is een zogenoemde deepfake-video of -foto. Hierbij wordt een persoon gedeeltelijk vervangen door een andere persoon – bijvoorbeeld door het gezicht te verwisselen. Het begrip ‘deepfake’ is een samenvoeging van twee Engelse woorden: ‘deep learning’ en ‘fake’. Deep learning is een onderdeel van ‘machine learning’, dat gebaseerd is op kunstmatige neurale netwerken. Het wordt gebruikt om bestaande afbeeldingen en video te combineren, en delen ervan te integreren. 

Bij veel deepfake-video’s wordt meestal alleen een klein deel van een persoon vervangen: het gezicht. Dit heet een ‘faceswap’. Dit scheelt kostbare rekenkracht en het is beduidend minder complex omdat niet al het haar, lichaam, kleding en de achtergrond hoeft te worden vervangen. In de praktijk worden vaak alleen de gelaatstrekken van een hoofd overgenomen, zoals de ogen, neus, wenkbrauwen, gezichtshaar en mond. Deze worden wel zo aangepast dat de kleur en de belichting van het gezicht overeenkomt met het origineel. 

Het resultaat ziet er vaak verrassend echt uit, zeker wanneer het personen betreft die qua bouw een beetje op elkaar lijken. Een bekend voorbeeld is een scène van Arnold Schwarzenegger in Terminator 2, waarbij het gezicht is vervangen door aartsrivaal Sylvester Stallone. Een faceswap is tegenwoordig zo eenvoudig dat iedere consumentencomputer het kan: er bestaat kant-en-klare opensource-software voor. Ook smartphones zijn krachtig genoeg en er zijn talloze apps, zoals Reface.

Hoe werkt deepfake?

Het manipuleren van bestaande beelden of een faceswap werkt door eerst het bronbeeld uitvoerig te analyseren: de positie en de bewegingen van alle onderdelen van het gezicht worden uitvoerig ontleedt, evenals het licht en de hoek van het gezicht. Alle individuele frames worden apart opgeslagen. Vervolgens gebeurt hetzelfde met het doelbeeld, waarbij de gezichten over elkaar worden gelegd. Hoe groter de dataset aan beelden is, des te beter is het eindresultaat.

Het produceren van een compleet nieuw beeld door een algoritme werkt anders. Dit gebeurt met een techniek die bekend staat als GAN (Generative Adversarial Network). Dit is een klasse van algoritmen voor ongecontroleerd leren. Het werkt door middel van een soort spelscenario waarbij twee neurale netwerken tegen elkaar strijden en samenwerken. 

Het eerste netwerk is de generator, die een beeld genereert (maar het kan ook een tekst of audiofragment zijn). Het tweede netwerk is de discriminator, die is getraind op een grote database van voorbeelden en probeert te detecteren of het beeld echt is, of gefabriceerd door de generator. Dit proces gaat net zo lang door tot het door het eerste netwerk geproduceerde beeld zo goed is, dat het aangemerkt wordt als echt. Het netwerk van de generator traint zichzelf dus als het ware omdat het telkens anticipeert op de afwijzingen van de discriminator. 

Een GAN die op foto’s is getraind, kan zelf beelden genereren die niet van echt te onderscheiden zijn. Deze foto’s of video’s zijn dus niet samengesteld uit echte beelden, zoals bij deepfake, maar volledig op basis van nieuwe pixels gegenereerd. Het gaat dan dus om mensen die in werkelijkheid niet bestaan, maar er wel levensecht uitzien. Voorbeelden zijn te zien op sites als thispersondoesnotexist.com. Voor katten, huiskamers en landschappen bestaat deze techniek ook.

Hollywood

De techniek worden steeds vaker toegepast in Hollywoodfilms. In Terminator Genisys, Captain Marvel, Tron: Legacy, The Irishman en Gemini werden hoofdrolspelers tientallen jaren jonger gemaakt. In 2016 zagen we een jonge Carrie Fisher als prinses Leia in Star Wars: Rogue One en in Episode IX figureerde zij zelfs na haar dood.

Amerikaanse filmmakers overwegen zelfs de in 1955 overleden acteur James Dean, te laten figureren in een nieuwe Vietnamfilm, omdat ze zijn persoon zo goed bij de rol vinden passen. Ook voor tv en op YouTube worden steeds vaker deepfakes gebruikt. Zo zond het Britse tv-netwerk Channel 4 beelden van Koningin Elizabeth uit waarbij ze een TikTok-dans deed. 

In Zondag met Lubach ontkrachtte Gerry Baudet uitspraken die door zijn ‘broertje’ waren gedaan. In december 2020 publiceerde YouTube-kanaal Sassy Justice, van de makers van South Park, een zogenaamd kerstverhaal van President Trump waarin twee rendieren onderling ruzie krijgen over de uitslag van de verkiezingen. De opname lijkt verrassend echt, inclusief de bewegingen, handgebaren, gelaatstrekken en de stem van Trump. 

Tenslotte ontstond onlangs veel reuring nadat De Correspondent een gemanipuleerd filmpje van Mark Rutte online zette, waarin het leek alsof de VVD-politicus ineens wel erg begaan was met het klimaat. Op de stem na zou je het zo geloven! 

Tekst: Jeroen Horlings

▼ Volgende artikel
Wanneer heb je HDMI 2.1 écht nodig (en wanneer is het weggegooid geld)?
© Dennis
Huis

Wanneer heb je HDMI 2.1 écht nodig (en wanneer is het weggegooid geld)?

HDMI 2.1 is de nieuwste standaard voor beeldoverdracht, maar lang niet iedereen heeft de extra bandbreedte ook écht nodig. Vooral voor gamers met een PlayStation 5, Xbox Series X of krachtige pc is het relevant. Kijk je alleen films of televisie? Dan volstaat de oudere aansluiting vaak prima. Wij leggen uit waar de grens ligt.

Als je momenteel op zoek bent naar een nieuwe televisie of monitor vlíegen de technische termen je om de oren. HDMI 2.1 wordt door fabrikanten en winkels vaak gepresenteerd als een absolute noodzaak voor een scherm dat klaar is voor de toekomst. Hierdoor ontstaat de angst dat je een miskoop doet als je kiest voor een model met de oudere HDMI 2.0-standaard. Toch is dat in veel Nederlandse huiskamers een misvatting, want de voordelen zijn nogal specifiek. Veel consumenten betalen onnodig extra voor een functie die ze technisch gezien nooit zullen activeren. Na het lezen van dit artikel weet je precies of jij die snelle poort nodig hebt, of dat je dat budget beter aan een groter scherm of beter geluid kunt besteden.

De kern van het probleem: bandbreedte

Het fundamentele verschil tussen de gangbare HDMI 2.0-standaard en de nieuwere 2.1-versie zit 'm in de digitale snelweg die ze bieden. Je kunt het zien als een waterleiding: door een 2.1-kabel kan veel meer water (of dus data) tegelijk worden gepompt (48 Gbit/s in dit geval) dan door de oudere 2.0-variant (die 'maar' 18 Gbit/s kan verwerken). Die extra ruimte is nodig voor 4K-beelden met een zeer hoge verversingssnelheid (120 beelden per seconde) of voor extreem hoge resoluties zoals 8K.

Een hardnekkige mythe is dat HDMI 2.1 het beeld altijd mooier maakt. Dat is onjuist. Als je naar een Netflix-serie kijkt in 4K, ziet dat er via een 2.0-poort exact hetzelfde uit als via een 2.1-poort. De kabel verandert niets aan de kleuren, de scherpte of het contrast; hij zorgt er alleen voor dat het signaal 'erdoor' past. Pas als er een file op de kabel ontstaat (omdat je te veel beelden per seconde wilt versturen) wordt de nieuwe standaard noodzakelijk. Zolang je dataverbruik onder de limiet van HDMI 2.0 blijft, voegt versie 2.1 niets toe aan de beeldkwaliteit.

Wanneer werkt dit wél goed?

HDMI 2.1 komt pas echt tot zijn recht als je de grenzen van beweging en snelheid opzoekt. Dat is vrijwel exclusief het domein van de fanatieke gamer. Heb je een PlayStation 5 of Xbox Series X in huis en wil je games spelen in de hoogste 4K-resolutie met 120 beelden per seconde (120 Hz)? Dan is een HDMI 2.1-aansluiting op je tv onmisbaar. Zonder deze poort blijft je console steken op 60 beelden per seconde, wat minder vloeiend oogt bij snelle shooters of racegames.

Ook pc-gamers met een zware, moderne videokaart (zoals de NVIDIA RTX 40- of 50-serie) profiteren hiervan als ze hun pc op de tv aansluiten. Naast de snelheid biedt de 2.1-standaard ondersteuning voor Variable Refresh Rate (VRR). Dat zorgt ervoor dat de televisie zijn verversingssnelheid continu aanpast aan de spelcomputer, wat haperingen en 'tearing' (waarbij het beeld in tweeën lijkt te breken) voorkomt. Daarnaast is er Auto Low Latency Mode (ALLM), een signaal waardoor je tv automatisch naar de spelmodus schakelt zodra je de console aanzet. Voor wie de maximale prestaties uit een moderne spelcomputer wil halen, is HDMI 2.1 dus een logische en eigenlijk verplichte keuze.

Oké, maar wanneer werkt dit níet goed?

Voor de gemiddelde kijker is de meerwaarde van HDMI 2.1 nagenoeg nihil. Kijk je voornamelijk lineaire televisie (nieuws, talkshows), sportwedstrijden, films op Blu-ray of series via streamingdiensten als Disney+ en Videoland? Dan kom je nooit in de buurt van de bandbreedte die HDMI 2.0 niet meer aankan. Films en series worden vrijwel altijd gemaakt en uitgezonden in 24, 30 of maximaal 60 beelden per seconde. Een standaard HDMI 2.0-aansluiting kan 4K-beeld op 60 Hz fluitend aan, inclusief HDR (High Dynamic Range).

Ook voor bezitters van een oudere of minder krachtige spelcomputer, zoals de PlayStation 4, de Xbox One of de Nintendo Switch, voegt de nieuwe poort niets toe. Het signaal dat deze apparaten uitsturen is simpelweg niet zwaar genoeg om de bredere snelweg nodig te hebben. Je koopt in dat geval een Ferrari om er vervolgens alleen maar mee in een 30-kilometerzone te rijden. Je betaalt voor capaciteit die ongebruikt blijft, terwijl je dat geld wellicht beter had kunnen investeren in een tv met een beter contrast of hogere helderheid.

Dealbreakers

Er zijn specifieke situaties waarin het blindstaren op HDMI 2.1 je keuze onnodig beperkt of zelfs leidt tot een slechtere aankoop. Dit zijn de harde grenzen:

Je zoekt een televisie in het budgetsegment. In de lagere prijsklassen is de term HDMI 2.1 vaak misleidend. Fabrikanten mogen de term soms gebruiken omdat de tv één specifieke feature ondersteunt (zoals ALLM), terwijl het paneel zelf technisch helemaal geen 120 Hz kan weergeven. Je koopt dan een tv met een 2.1-sticker, maar zonder het daadwerkelijke voordeel van vloeiend beeld. In dit segment is beeldkwaliteit altijd belangrijker dan het versienummer van de poort.

Je wilt alleen beter geluid via een soundbar. Vaak wordt gedacht dat je voor de beste geluidsoverdracht (eARC) per se een volledige HDMI 2.1-tv nodig hebt. Hoewel eARC officieel onderdeel is van de 2.1-specificaties, hebben veel fabrikanten deze functie ook toegevoegd aan televisies die verder gewoon op HDMI 2.0 draaien. Als je doel puur het doorsturen van Dolby Atmos-geluid is, is een volledige HDMI 2.1-poort dus geen harde eis, zolang eARC maar specifiek wordt vermeld.

Je kijkt puur films en series. Als je geen gamer bent, is er geen enkel scenario waarin HDMI 2.1 je kijkervaring verbetert. Het sluit een heleboel uitstekende oudere of goedkopere modellen uit die misschien wel een veel mooier OLED- of QLED-paneel hebben, maar niet de nieuwste aansluitingen. Beeldkwaliteit (zwartwaarden, kleur) wint het voor de filmkijker altijd van bandbreedte.

©DC Studio

Wat betekent dit voor jouw situatie?

Om de juiste keuze te maken, moet je kritisch kijken naar wat er in je tv-meubel staat of komt te staan. De vuistregel is eenvoudig: ben jij iemand die elke frame telt in een online shooter en heb je de hardware om dat te genereren? Dan moet HDMI 2.1 bovenaan je wensenlijst staan; zonder die poort knijp je de prestaties van je dure console af en mis je de soepelheid waarvoor je betaald hebt.

Ben je daarentegen een filmliefhebber die geniet van de hoogste beeldkwaliteit in HDR, of kijk je vooral sport? Richt je dan op het contrast, de helderheid en de kleurweergave van het paneel. Een kwalitatief hoogwaardig paneel met een 'oudere' aansluiting geeft een indrukwekkender plaatje bij films dan een middelmatige tv die toevallig wél een 2.1-aansluiting heeft. Laat je niet gek maken door het idee van toekomstbestendigheid als de beloofde toekomst niet aansluit bij jouw kijkgedrag.

Dus...

HDMI 2.1 is essentieel voor gamers met een PS5, Xbox Series X of krachtige pc die willen spelen in 4K bij 120 Hz. Voor filmkijkers, serie-bingers en tv-kijkers biedt de standaard geen zichtbare beeldverbetering ten opzichte van HDMI 2.0. De extra bandbreedte is puur bedoeld voor zeer hoge framerates die videocontent niet gebruikt. Kies alleen voor HDMI 2.1 als je hardware hebt die deze snelheid daadwerkelijk kan benutten. In alle andere gevallen is de kwaliteit van het beeldscherm zelf veel belangrijker dan het type aansluiting.

▼ Volgende artikel
Alles over Highguard - waarom heeft iedereen het over deze shooter?
© Wildlight Entertainment
Huis

Alles over Highguard - waarom heeft iedereen het over deze shooter?

Op 26 januari kan de wereld aan de slag met Highguard. Het lijkt erop dat iedereen weet wat Highguard is, terwijl tegelijkertijd ook niemand precies weet wát Highguard nou precies is. In dit artikel zetten we dus uiteen wanneer je de game kunt spelen, en waarom deze titel van Wildlight Entertainment zoveel aandacht krijgt.

Releasedatrum van Highguard

Highguard is vanaf vandaag, 26 januari, rond 19:00 uur Nederlandse tijd beschikbaar op pc, PlayStation 5 en Xbox Series X en S. De exacte releasetijd is nog niet bekend, maar vermoedelijk zal de game rond die tijd op alle platforms beschikbaar worden.

Daarbij is het spel free-to-play, dus je hoeft niets te betalen om Highguard te spelen. Daarbij ondersteunt de game crossplay en cross-save, dus je kunt de game samen met vrienden op andere platforms spelen en je progressie op andere platforms meenemen. Het spel is niet te preloaden, maar vereist op pc in ieder geval 25 GB aan beschikbare opslagruimte.

Met de lancering van het spel zendt ontwikkelaar Wildlight Entertaiment om 19:00 uur Nederlandse tijd ook direct een zogenaamde Launch Showcase uit op YouTube - ook hieronder te bekijken. De studio belooft in deze showcase een ‘deepdive in de gameplay’ van Highguard te tonen, de contentplannen voor het eerste jaar uit de doeken te doen en nog ‘veel meer’. 

Watch on YouTube

Wat is Highguard?

Aan team-based PvP heroshooters als Overwatch is geen gebrek, maar Highguard lijkt zich bij die groep te scharen. Het spel wordt ontwikkeld door Wildlight Entertainment, dat weer bestaat uit oud-ontwikkelaars van onder andere Titanfall en Apex Legends. Mensen die dus meer dan prima shooters in elkaar hebben gedraaid, waardoor de interesse toch ietwat gewekt wordt. 

Ieder team in de game bestaat uit drie zogenaamde Wardens, waarvoor verschillende personages gekozen kunnen worden. In de trailer zien we bijvoorbeeld een ridderachtige personage, die met een speciale vaardigheid elektrische stokken rond kan gooien. Ook is er een groot ijsmonster dat schijnbaar muren kan laten verschijnen, een soort cowboy met beestachtige klauwen en een personage dat met messen kan gooien. Ook heeft ieder personage schijnbaar toegang tot geweren om het vijandelijke team mee te bevechten.

Het doel van een potje is namelijk het vinden van de ‘Shieldbreaker’, een soort groot zwaard waarmee je de basis van de tegenstanders open kan breken en uiteindelijk overnemen. Wanneer dit lukt is het potje gewonnen. In de context van de game krijgt jouw team op die manier de controle over het continent. 

©Wildlight Entertainment

Waarom is er zoveel om Highguard te doen?

Wildlight positioneert de game in hun marketing als een “nieuw soort shooter”, maar veel spelers zijn op basis van de trailer nog niet overtuigd. Highguard doet qua opzet van de potjes wel een paar dingen anders dan hero-shooters als Overwatch en Marvel Rivals, maar zoals Concord in 2024 liet zien is de huidige markt voor dit subgenre binnen shooters redelijk verzadigd. Velen zijn simpelweg nog niet overtuigd dat Highguard daadwerkelijk iets vernieuwends met zich mee weet te brengen.

Dit valt ook te verwijten aan een opvallend gebrek aan marketing van de game. Zo’n anderhalve maand voor release hoorden we voor het eerst van Highguard, toen de trailer werd getoond als afsluiter van The Game Awards. Normaliter is de laatste aankondiging van die show een van de hoogtepunten, maar Highguard wist mensen niet te enthousiasmeren. 

De gesprekken rondom Highguard werden echter nog vreemder, toen opviel dat Wildlight geruime tijd niets meer plaatste op sociale media over de game. Na de initiële aankondiging van de game werd er wekenlang niets meer geplaatst op het X-account van Highguard, tot drie dagen voor launch - toen het bedrijf een countdown startte. Ook dit maakte het lastig om enthousiast te worden voor Highguard. 

©Wildlight Entertainment

In de afgelopen dagen doken er berichten en geruchten op die stelden dat Geoff Keighley - de presentator en oprichter van The Game Awards - Highguard specifiek had uitgekozen als afsluiter van The Game Awards, omdat hij hier wel iets in zag. Op 25 januari plaatste Keighley een gif op X, waarin John Hammond uit Jurassic Park zegt: “Over 48 uur accepteer ik jullie verontschuldigingen”. 

Natuurlijk gunnen we iedere game waar tijd en passie in heeft gezeten het beste, maar het is ook niet te ontkennen dat het verhaal rondom Highguard op zijn minst frappant te noemen is. Nou ja, vanaf 19:00 uur kunnen we het spel zelf onder handen nemen. Verwacht daarom binnenkort impressies op onze socials en ID.nl.