ID.nl logo
De technologie achter deepfake en synthetische media
© Reshift Digital
Huis

De technologie achter deepfake en synthetische media

Je eigen gezicht op een filmpersonage plakken is geestig en vrij onschuldig, een politicus iets laten zeggen wat hij of zij nooit gezegd heeft is al van een andere orde. We hebben het uiteraard over deepfakes. Hoe werkt de technologie achter synthetische media?

Een belangrijk containerbegrip waar deepfakes onder vallen is ‘synthetische media’. Dat staat voor content die niet door mensen is gemaakt, maar door computers gegenereerd. Het gaat bijvoorbeeld om foto’s of video’s die niet echt zijn, maar er wel heel echt uitzien. Maar het kan ook gaan om audio, teksten of virtuele objecten. De content wordt geproduceerd door een algoritme op basis van kunstmatige intelligentie (AI, artificial intelligence). 

Deze AI wordt gevoed en getraind door data, zoals foto’s met verschillende gezichtskenmerken, bewegende beelden van een persoon, teksten, muziek of het interieur van huizen. Hoe groter de dataset, des te beter de vaardigheden van het algoritme worden. Software heeft ten opzichte van mensen het voordeel dat het content met hoge snelheid en op oneindige schaal kan produceren.

Een algoritme kan op basis van een dataset met bijvoorbeeld foto’s van tienduizenden personen de gelaatskenmerken analyseren, zoals de positie en kenmerken van de ogen, neus en mond, wenkbrauwen, haar en bijvoorbeeld moedervlekken. Door die vanuit verschillende hoeken te analyseren ontstaat een 3D-model van het gezicht. 

Op basis daarvan, en de overeenkomsten en verschillen tussen mensen in de dataset, kan het algoritme zelf mensen ‘maken’. Wanneer beelden gecombineerd worden van echte mensen wordt dit een deepfake genoemd. Maar het kan ook op basis van random noise, oftewel pixels.

©PXimport

Face swappen

Een onderdeel dat vaak in het nieuws komt, is een zogenoemde deepfake-video of -foto. Hierbij wordt een persoon gedeeltelijk vervangen door een andere persoon – bijvoorbeeld door het gezicht te verwisselen. Het begrip ‘deepfake’ is een samenvoeging van twee Engelse woorden: ‘deep learning’ en ‘fake’. Deep learning is een onderdeel van ‘machine learning’, dat gebaseerd is op kunstmatige neurale netwerken. Het wordt gebruikt om bestaande afbeeldingen en video te combineren, en delen ervan te integreren. 

Bij veel deepfake-video’s wordt meestal alleen een klein deel van een persoon vervangen: het gezicht. Dit heet een ‘faceswap’. Dit scheelt kostbare rekenkracht en het is beduidend minder complex omdat niet al het haar, lichaam, kleding en de achtergrond hoeft te worden vervangen. In de praktijk worden vaak alleen de gelaatstrekken van een hoofd overgenomen, zoals de ogen, neus, wenkbrauwen, gezichtshaar en mond. Deze worden wel zo aangepast dat de kleur en de belichting van het gezicht overeenkomt met het origineel. 

Het resultaat ziet er vaak verrassend echt uit, zeker wanneer het personen betreft die qua bouw een beetje op elkaar lijken. Een bekend voorbeeld is een scène van Arnold Schwarzenegger in Terminator 2, waarbij het gezicht is vervangen door aartsrivaal Sylvester Stallone. Een faceswap is tegenwoordig zo eenvoudig dat iedere consumentencomputer het kan: er bestaat kant-en-klare opensource-software voor. Ook smartphones zijn krachtig genoeg en er zijn talloze apps, zoals Reface.

Hoe werkt deepfake?

Het manipuleren van bestaande beelden of een faceswap werkt door eerst het bronbeeld uitvoerig te analyseren: de positie en de bewegingen van alle onderdelen van het gezicht worden uitvoerig ontleedt, evenals het licht en de hoek van het gezicht. Alle individuele frames worden apart opgeslagen. Vervolgens gebeurt hetzelfde met het doelbeeld, waarbij de gezichten over elkaar worden gelegd. Hoe groter de dataset aan beelden is, des te beter is het eindresultaat.

Het produceren van een compleet nieuw beeld door een algoritme werkt anders. Dit gebeurt met een techniek die bekend staat als GAN (Generative Adversarial Network). Dit is een klasse van algoritmen voor ongecontroleerd leren. Het werkt door middel van een soort spelscenario waarbij twee neurale netwerken tegen elkaar strijden en samenwerken. 

Het eerste netwerk is de generator, die een beeld genereert (maar het kan ook een tekst of audiofragment zijn). Het tweede netwerk is de discriminator, die is getraind op een grote database van voorbeelden en probeert te detecteren of het beeld echt is, of gefabriceerd door de generator. Dit proces gaat net zo lang door tot het door het eerste netwerk geproduceerde beeld zo goed is, dat het aangemerkt wordt als echt. Het netwerk van de generator traint zichzelf dus als het ware omdat het telkens anticipeert op de afwijzingen van de discriminator. 

Een GAN die op foto’s is getraind, kan zelf beelden genereren die niet van echt te onderscheiden zijn. Deze foto’s of video’s zijn dus niet samengesteld uit echte beelden, zoals bij deepfake, maar volledig op basis van nieuwe pixels gegenereerd. Het gaat dan dus om mensen die in werkelijkheid niet bestaan, maar er wel levensecht uitzien. Voorbeelden zijn te zien op sites als thispersondoesnotexist.com. Voor katten, huiskamers en landschappen bestaat deze techniek ook.

Hollywood

De techniek worden steeds vaker toegepast in Hollywoodfilms. In Terminator Genisys, Captain Marvel, Tron: Legacy, The Irishman en Gemini werden hoofdrolspelers tientallen jaren jonger gemaakt. In 2016 zagen we een jonge Carrie Fisher als prinses Leia in Star Wars: Rogue One en in Episode IX figureerde zij zelfs na haar dood.

Amerikaanse filmmakers overwegen zelfs de in 1955 overleden acteur James Dean, te laten figureren in een nieuwe Vietnamfilm, omdat ze zijn persoon zo goed bij de rol vinden passen. Ook voor tv en op YouTube worden steeds vaker deepfakes gebruikt. Zo zond het Britse tv-netwerk Channel 4 beelden van Koningin Elizabeth uit waarbij ze een TikTok-dans deed. 

In Zondag met Lubach ontkrachtte Gerry Baudet uitspraken die door zijn ‘broertje’ waren gedaan. In december 2020 publiceerde YouTube-kanaal Sassy Justice, van de makers van South Park, een zogenaamd kerstverhaal van President Trump waarin twee rendieren onderling ruzie krijgen over de uitslag van de verkiezingen. De opname lijkt verrassend echt, inclusief de bewegingen, handgebaren, gelaatstrekken en de stem van Trump. 

Tenslotte ontstond onlangs veel reuring nadat De Correspondent een gemanipuleerd filmpje van Mark Rutte online zette, waarin het leek alsof de VVD-politicus ineens wel erg begaan was met het klimaat. Op de stem na zou je het zo geloven! 

Tekst: Jeroen Horlings

▼ Volgende artikel
PlayStation sluit de ontwikkelaar van Demon's Souls-remake
Huis

PlayStation sluit de ontwikkelaar van Demon's Souls-remake

Sony PlayStation sluit in maart Bluepoint Games, de studio achter de remake van Demon's Souls.

Dat heeft een woordvoerder van Sony aan Bloomberg bevestigd. Door de sluiting zullen ongeveer zeventig werknemers hun baan verliezen. Volgens de woordvoerder is het besluit om de studio te sluiten genomen na "een recente zakelijke beoordeling."

"Bluepoint Games is een enorm getalenteerd team en hun technische expertise heeft exceptionele ervaringen voor de PlayStation-gemeenschap opgeleverd", zo stelde de woordvoerder. "We bedanken ze voor hun passie, creativiteit en vakmanschap."

Hermen Hulst aan het woord

In een bericht die via ResetEra werd gedeeld, liet PlayStation Studios-baas Hermen Hulst - voorheen van de Amsterdamse studio Guerrilla Games - weten dat het besluit werd genomen vanwege "een toenemende uitdagende industrie-omgeving". Aldus Hulst: "Stijgende ontwikkelkosten, een vertraging in de groei van de industrie, veranderingen in het gedrag van spelers en bredere economische tegenwind maken het moeilijker om games duurzaam te bouwen."

Watch on YouTube

Hulst vervolgt: "Om ons in deze realiteit te navigeren moeten we ons aanpassen en moeten we evolueren. We hebben goed gekeken naar ons bedrijf om er zeker van te zijn dat we hedendaags leveren, terwijl we ook klaar zijn voor de toekomst. Daarom zullen we Bluepoint Games in maart sluiten."

Hij eindigde zijn bericht met het volgende: "Ik weet dat dit moeilijk nieuws is om te horen, maar ik ben zeker van de richting die we hebben gekozen. Creativiteit, innovatie en het bouwen van onvergetelijke ervaringen voor spelers blijven de kern van PlayStation Studios. We hebben een robuuste line-up voor het fiscale jaar 2026, en hebben de komende maanden veel om naar uit te kijken."

Watch on YouTube

Over Bluepoint Games

Bluepoint werd in 2021 overgenomen door Sony Interactive Studio. Daarvoor werkten de bedrijven al veel samen, en de studio stond vooral bekend om hun expertise bij het creëren van remakes en remasters. Denk aan de remake van Demon's Souls die tegelijk uitkwam met de PlayStation 5, maar ook God of War Collection, de remake van Shadow of the Colossus en Uncharted: The Nathan Drake Collection.

Vorig jaar bleek al dat Sony een liveservicegame die ontwikkeld werd door Bluepoint had geannuleerd. Volgens geruchten ging het om een liveservicegame gesitueerd in het God of War-universum.

Sony heeft de afgelopen jaren meer studio's gesloten. In 2024 sloten bijvoorbeeld Firesprite, Firewalk en Neon Koi hun deuren.

▼ Volgende artikel
Waar voor je geld: 5 NVMe-ssd's van 2 TB voor je laptop
© ID.nl
Huis

Waar voor je geld: 5 NVMe-ssd's van 2 TB voor je laptop

De prijzen van NVMe-chips voor ssd's zijn flink aan het stijgen. Ben je van plan om je laptop van een grotere opslagcapaciteit te voorzien? Dan is dit het moment om te kijken waar je de beste deal kunt vinden. Wij vonden op Kieskeurig.nl een vijftal NVMe-ssd's, met uiteenlopende prijzen. Wees er snel bij, want deze prijzen kunnen snel verder stijgen.

Samsung 990 PRO 2 TB NVMe SSD

Met de Samsung 990 PRO 2 TB NVMe SSD kun je je computer of spelconsole voorzien van een extra snelle opslagoplossing. Deze M.2‑module maakt gebruik van de PCIe 4.0‑interface en haalt sequentiële leessnelheden tot 7.450 MB/s en schrijfsnelheden tot 6.900 MB/s. Volgens Samsung liggen de willekeurige lees‑ en schrijfsnelheden 40 % en 55 % boven die van de vorige 980 PRO, waardoor de drive geschikt is voor data‑intensieve toepassingen zoals videobewerking, 3D‑ontwerp of gaming.

Het energiemanagement is volgens Samsung verbeterd: de ssd levert ruim 50 % meer prestaties per watt ten opzichte van zijn voorganger. Om je systeem stabiel te houden, beschikt de controller over slimme temperatuurbeheersing en een slanke heatsink zodat oververhitting en lawaaierige ventilatoren worden vermeden. Deze NVMe‑schijf werkt in pc’s en consoles en is ook geschikt voor de PlayStation 5. Verder ondersteunt de Samsung Magician‑software het monitoren van de schijftemperatuur en het kopiëren van gegevens.

Leessnelheid: tot 7.450 MB/s
Schrijfsnelheid:
tot 6.900 MB/s

WD Black SN770 2 TB NVMe SSD

De WD Black SN770 2 TB NVMe SSD is een M.2‑ssd die is bedoeld om je laptop of desktop een turboboost te geven. Het model ondersteunt de PCIe Gen 4‑interface en levert leessnelheden tot 5.150 MB/s. WD noemt een 20 % hogere energie‑efficiëntie in vergelijking met de vorige generatie, zodat je systeem minder energie verbruikt tijdens intensieve sessies. Voor gamers is er een speciale ‘gamingmodus’ in het WD Black‑dashboard: hiermee kun je de piekprestaties optimaliseren en tegelijkertijd de status van de schijf in de gaten houden.

De fabrikant benadrukt dat de drive dankzij thermische technologie consistent presteert, zelfs wanneer je langdurig speelt of grote bestanden verwerkt. Het compacte M.2‑formaat maakt hem geschikt voor moderne moederborden en laptops. Doordat de SN770 zowel voor pc als laptop is geformatteerd, kun je hem zonder speciale aanpassingen installeren.

Leessnelheid: 5.150 MB/s
Schrijfsnelheid: 4.850 MB/s

Kingston FURY Renegade 2 TB NVMe SSD

De Kingston FURY Renegade 2 TB NVMe is ontworpen voor gebruikers die hun pc of gameconsole willen uitrusten met veel opslag en hoge snelheden. Deze M.2‑drive maakt gebruik van een Gen 4x4‑NVMe‑controller en 3D‑TLC‑NAND; hierdoor zijn sequentiële lees‑ en schrijfsnelheden tot 7.300 MB/s en 7.000 MB/s mogelijk.

Kingston meldt bovendien dat de drive maximaal 1.000.000 IOPS haalt, wat van belang is bij multitasking of het laden van grote games. Om de prestaties stabiel te houden bij langdurige belasting, heeft Kingston een low‑profile grafeen‑aluminium warmtegeleider ontwikkeld. Voor de PlayStation 5 is een uitvoering met geïntegreerde heatsink beschikbaar; deze extra koellaag helpt de schijf koel te houden wanneer je console continu wordt belast. Met een capaciteit van 2 TB heb je genoeg ruimte voor games en multimediabestanden, en de M.2‑vormfactor maakt hem geschikt voor moderne moederborden.

Leessnelheid: tot 7.300 MB/s
Schrijfsnelheid:
tot 7.000 MB/s

Seagate FireCuda 520N 2 TB NVMe SSD

De Seagate FireCuda 520N 2 TB NVMeis een compacte NVMe‑schijf die speciaal is ontworpen voor handheld gamingapparaten en ultracompacte pc’s. Met een M.2 2230‑vormfactor past hij in handheld consoles zoals de Steam Deck en de ASUS ROG Ally. De drive gebruikt een PCIe Gen4 x4‑interface en levert sequentiële leessnelheden tot ongeveer 5.000 MB/s en schrijfsnelheden tot 3.200 MB/s.

Het door Seagate opgegeven uithoudingsvermogen vermeldt voor de 2 TB‑versie een schrijflast van 660 TBW, wat duidt op de hoeveelheid data die je in de levensduur kunt wegschrijven. Dankzij het compacte formaat en de bijbehorende 5‑jaar garantie is de drive bedoeld als duurzame upgrade voor draagbare systemen. Je hoeft daarbij geen adapters te gebruiken omdat de drive rechtstreeks in het M.2‑2230‑slot past, wat montage vereenvoudigt. Met 2 TB aan opslagruimte is er voldoende ruimte voor games, apps en systeemupdates op een handheld platform.

Leessnelheid: tot 5.000 MB/s
Schrijfsnelheid:
tot 3.200 MB/s

SanDisk SN7100 2 TB NVMe SSD

De SanDisk SN7100 2 TB NVMe SSD richt zich op gamers en professionals die behoefte hebben aan hoge bandbreedte. In zijn 2 TB‑uitvoering gebruikt deze M.2 2280‑drive een PCIe 4.0 x4‑interface met NVMe 1.4‑protocol. Volgens een review haalt hij sequentiële leessnelheden tot 7.250 MB/s en schrijfsnelheden tot 6.900 MB/s, terwijl de random leesprestaties tot 1.000 K IOPS en de random schrijfprestaties tot 1.400 K IOPS reiken. De SN7100 combineert een BiCS8 TLC‑flashgeheugen met een host‑memory‑buffer (HMB), waardoor de drive DRAM‑loos is maar toch hoge prestaties levert. De review benadrukt dat de schijf energiezuinig is en gericht is op langdurig gebruik. Op Kieskeurig wordt vermeld dat deze SSD geschikt is voor zowel pc’s als gameconsoles en een opslagcapaciteit van 2 TB heeft. Daardoor kun je hem gebruiken in een desktop, laptop of console zonder dat je extra configuratie nodig hebt.

Leessnelheid: tot 7.250 MB/s
Schrijfsnelheid:
tot 6.900 MB/s