ID.nl logo
De technologie achter deepfake en synthetische media
© Reshift Digital
Huis

De technologie achter deepfake en synthetische media

Je eigen gezicht op een filmpersonage plakken is geestig en vrij onschuldig, een politicus iets laten zeggen wat hij of zij nooit gezegd heeft is al van een andere orde. We hebben het uiteraard over deepfakes. Hoe werkt de technologie achter synthetische media?

Een belangrijk containerbegrip waar deepfakes onder vallen is ‘synthetische media’. Dat staat voor content die niet door mensen is gemaakt, maar door computers gegenereerd. Het gaat bijvoorbeeld om foto’s of video’s die niet echt zijn, maar er wel heel echt uitzien. Maar het kan ook gaan om audio, teksten of virtuele objecten. De content wordt geproduceerd door een algoritme op basis van kunstmatige intelligentie (AI, artificial intelligence). 

Deze AI wordt gevoed en getraind door data, zoals foto’s met verschillende gezichtskenmerken, bewegende beelden van een persoon, teksten, muziek of het interieur van huizen. Hoe groter de dataset, des te beter de vaardigheden van het algoritme worden. Software heeft ten opzichte van mensen het voordeel dat het content met hoge snelheid en op oneindige schaal kan produceren.

Een algoritme kan op basis van een dataset met bijvoorbeeld foto’s van tienduizenden personen de gelaatskenmerken analyseren, zoals de positie en kenmerken van de ogen, neus en mond, wenkbrauwen, haar en bijvoorbeeld moedervlekken. Door die vanuit verschillende hoeken te analyseren ontstaat een 3D-model van het gezicht. 

Op basis daarvan, en de overeenkomsten en verschillen tussen mensen in de dataset, kan het algoritme zelf mensen ‘maken’. Wanneer beelden gecombineerd worden van echte mensen wordt dit een deepfake genoemd. Maar het kan ook op basis van random noise, oftewel pixels.

©PXimport

Face swappen

Een onderdeel dat vaak in het nieuws komt, is een zogenoemde deepfake-video of -foto. Hierbij wordt een persoon gedeeltelijk vervangen door een andere persoon – bijvoorbeeld door het gezicht te verwisselen. Het begrip ‘deepfake’ is een samenvoeging van twee Engelse woorden: ‘deep learning’ en ‘fake’. Deep learning is een onderdeel van ‘machine learning’, dat gebaseerd is op kunstmatige neurale netwerken. Het wordt gebruikt om bestaande afbeeldingen en video te combineren, en delen ervan te integreren. 

Bij veel deepfake-video’s wordt meestal alleen een klein deel van een persoon vervangen: het gezicht. Dit heet een ‘faceswap’. Dit scheelt kostbare rekenkracht en het is beduidend minder complex omdat niet al het haar, lichaam, kleding en de achtergrond hoeft te worden vervangen. In de praktijk worden vaak alleen de gelaatstrekken van een hoofd overgenomen, zoals de ogen, neus, wenkbrauwen, gezichtshaar en mond. Deze worden wel zo aangepast dat de kleur en de belichting van het gezicht overeenkomt met het origineel. 

Het resultaat ziet er vaak verrassend echt uit, zeker wanneer het personen betreft die qua bouw een beetje op elkaar lijken. Een bekend voorbeeld is een scène van Arnold Schwarzenegger in Terminator 2, waarbij het gezicht is vervangen door aartsrivaal Sylvester Stallone. Een faceswap is tegenwoordig zo eenvoudig dat iedere consumentencomputer het kan: er bestaat kant-en-klare opensource-software voor. Ook smartphones zijn krachtig genoeg en er zijn talloze apps, zoals Reface.

Hoe werkt deepfake?

Het manipuleren van bestaande beelden of een faceswap werkt door eerst het bronbeeld uitvoerig te analyseren: de positie en de bewegingen van alle onderdelen van het gezicht worden uitvoerig ontleedt, evenals het licht en de hoek van het gezicht. Alle individuele frames worden apart opgeslagen. Vervolgens gebeurt hetzelfde met het doelbeeld, waarbij de gezichten over elkaar worden gelegd. Hoe groter de dataset aan beelden is, des te beter is het eindresultaat.

Het produceren van een compleet nieuw beeld door een algoritme werkt anders. Dit gebeurt met een techniek die bekend staat als GAN (Generative Adversarial Network). Dit is een klasse van algoritmen voor ongecontroleerd leren. Het werkt door middel van een soort spelscenario waarbij twee neurale netwerken tegen elkaar strijden en samenwerken. 

Het eerste netwerk is de generator, die een beeld genereert (maar het kan ook een tekst of audiofragment zijn). Het tweede netwerk is de discriminator, die is getraind op een grote database van voorbeelden en probeert te detecteren of het beeld echt is, of gefabriceerd door de generator. Dit proces gaat net zo lang door tot het door het eerste netwerk geproduceerde beeld zo goed is, dat het aangemerkt wordt als echt. Het netwerk van de generator traint zichzelf dus als het ware omdat het telkens anticipeert op de afwijzingen van de discriminator. 

Een GAN die op foto’s is getraind, kan zelf beelden genereren die niet van echt te onderscheiden zijn. Deze foto’s of video’s zijn dus niet samengesteld uit echte beelden, zoals bij deepfake, maar volledig op basis van nieuwe pixels gegenereerd. Het gaat dan dus om mensen die in werkelijkheid niet bestaan, maar er wel levensecht uitzien. Voorbeelden zijn te zien op sites als thispersondoesnotexist.com. Voor katten, huiskamers en landschappen bestaat deze techniek ook.

Hollywood

De techniek worden steeds vaker toegepast in Hollywoodfilms. In Terminator Genisys, Captain Marvel, Tron: Legacy, The Irishman en Gemini werden hoofdrolspelers tientallen jaren jonger gemaakt. In 2016 zagen we een jonge Carrie Fisher als prinses Leia in Star Wars: Rogue One en in Episode IX figureerde zij zelfs na haar dood.

Amerikaanse filmmakers overwegen zelfs de in 1955 overleden acteur James Dean, te laten figureren in een nieuwe Vietnamfilm, omdat ze zijn persoon zo goed bij de rol vinden passen. Ook voor tv en op YouTube worden steeds vaker deepfakes gebruikt. Zo zond het Britse tv-netwerk Channel 4 beelden van Koningin Elizabeth uit waarbij ze een TikTok-dans deed. 

In Zondag met Lubach ontkrachtte Gerry Baudet uitspraken die door zijn ‘broertje’ waren gedaan. In december 2020 publiceerde YouTube-kanaal Sassy Justice, van de makers van South Park, een zogenaamd kerstverhaal van President Trump waarin twee rendieren onderling ruzie krijgen over de uitslag van de verkiezingen. De opname lijkt verrassend echt, inclusief de bewegingen, handgebaren, gelaatstrekken en de stem van Trump. 

Tenslotte ontstond onlangs veel reuring nadat De Correspondent een gemanipuleerd filmpje van Mark Rutte online zette, waarin het leek alsof de VVD-politicus ineens wel erg begaan was met het klimaat. Op de stem na zou je het zo geloven! 

Tekst: Jeroen Horlings

▼ Volgende artikel
Waar voor je geld: 5 combimagnetrons voor minder dan 200 euro
© MG | ID.nl
Huis

Waar voor je geld: 5 combimagnetrons voor minder dan 200 euro

In de rubriek Waar voor je geld gaan we op zoek naar producten waar je niet de hoofdprijs voor betaalt of die zijn voorzien van bijzondere functies. Een paar keer per week maken we een overzicht van zulke producten. Dit keer: combimagnetrons voor minder dan 200 euro.

Een combimagnetron is een veelzijdig keukenapparaat dat meerdere bereidingswijzen in één toestel combineert, vandaar 'combi'. Waar een gewone magnetron vooral geschikt is voor het opwarmen en ontdooien van eten, kan een combimagnetron veel meer. Je kunt er niet alleen mee magnetronnen, maar ook bakken, grillen en vaak zelfs volledig ovenfuncties gebruiken, zoals hetelucht. Daardoor vervangt een combimagnetron in veel keukens zowel een losse magnetron als een traditionele oven. Wij vonden op kieskeurig.nl vijf combimagnetrons voor minder dan 200 euro.

Samsung MC28H5015CS

Met deze Samsung haal je een stijlvolle keukenhulp in huis die veel meer kan dan alleen opwarmen. Je hebt de beschikking over een ruime inhoud van 28 liter, waardoor ook grotere ovenschalen erin passen. Het draaiplateau kun je stilzetten, wat handig is als je vierkante borden gebruikt die anders tegen de randen zouden stoten. De binnenkant is voorzien van een keramische emaille laag, waardoor vet en vuil nauwelijks hechten en je hem met een doekje zo weer schoon hebt. Dankzij de diverse automatische programma's hoef je niet zelf te gokken hoe lang je groenten of vlees moet garen.

Specificaties:
Inhoud:
28 Liter
Vermogen:
100 - 900 Watt (6 standen)
Maximum temperatuur: 200 °C
Aantal kookprogramma's: 15

Sharp R-843INW

Deze Sharp is een compacte krachtpatser die perfect is voor kleinere keukens. Je bedient hem eenvoudig via het duidelijke digitale display en de draaiknop. Naast de standaard magnetronfunctie beschikt hij over een krachtige grill en een heteluchtoven die tot 230 graden gaat, wat hoog is voor deze prijsklasse. De zogeheten dubbele grill-functie zorgt ervoor dat je gerechten zowel van boven als onderen knapperig worden. Een leuke extra is de speciale pizza-stand, waarmee je diepvriespizza's net dat beetje extra krokantheid geeft.

Specificaties:
Inhoud:
25 Liter
Vermogen:
90 - 900 Watt (5 standen)
Maximum temperatuur: 230 °C
Aantal kookprogramma's: 10

Tomado TMC2302B

Met de TMC2302B haal je een veelzijdig apparaat in huis dat ondanks zijn compacte formaat van 23 liter toch over uitgebreide functies beschikt. Je bedient de combimagnetron eenvoudig via de draaiknop en de druktoetsen onder het digitale display. Naast de standaard magnetronfunctie kun je gebruikmaken van de heteluchtoven en de grill, of een combinatie hiervan om gerechten sneller te bereiden met een krokant resultaat. Er zijn 10 automatische kookprogramma's ingebouwd, zodat je voor veelvoorkomende gerechten zoals pizza of aardappelen niet zelf de tijd en temperatuur hoeft te bedenken. Het draaiplateau zorgt voor een gelijkmatige verwarming van je eten en de binnenverlichting springt automatisch aan zodra je de deur opent. Mocht je kleine kinderen in huis hebben, dan kun je het bedieningspaneel vergrendelen met het kinderslot.

Specificaties:
Inhoud:
23 Liter
Vermogen:
90 - 900 Watt (5 standen)
Maximum temperatuur: 200 °C
Aantal kookprogramma's: 10

Etna CMV328ZT

Deze Etna valt op door zijn strakke zwarte design dat in bijna elke moderne keuken past. Je bedient hem met druktoetsen en een draaiknop, wat de bediening intuïtief maakt. Hij heeft een inhoud van 28 liter en combineert magnetron, grill en hetelucht. Een handige feature is de ontdooifunctie op gewicht: je voert in hoeveel gram vlees je hebt en deze magnetron berekent zelf de tijd. De ovenfunctie gaat tot 230 graden, waardoor je er ook prima een cake of lasagne in kunt bereiden.

Specificaties:
Inhoud:
28 Liter
Vermogen:
90 - 900 Watt (5 standen)
Maximum temperatuur: 230 °C
Aantal kookprogramma's: 10

Inventum MN297CB

Inventum staat bekend om degelijke apparatuur en dat zie je terug in dit model. Je hebt de keuze uit diverse kookprogramma's die het leven makkelijker maken. De combinatie van magnetron en hetelucht zorgt ervoor dat je gerechten snel gaar zijn maar toch die lekkere oven-structuur behouden. Het apparaat wordt geleverd met een draaiplateau en een grillrooster, zodat je direct aan de slag kunt met grillen. De timer is digitaal in te stellen tot 95 minuten, wat lang genoeg is voor de meeste ovengerechten.

Specificaties:Inhoud: 29 Liter
Vermogen: 100 - 1000 Watt (5 standen)
Maximum temperatuur: 240 °C
Aantal kookprogramma's: 10

▼ Volgende artikel
Terminaal zieke fan mocht mogelijk al Grand Theft Auto 6 spelen
© Rockstar Games
Huis

Terminaal zieke fan mocht mogelijk al Grand Theft Auto 6 spelen

Een terminaal zieke fan van de Grand Theft Auto-reeks heeft mogelijk de kans gekregen om Grand Theft Auto 6 al ruim voor release te spelen.

Nieuw op ID: het complete plaatje

Misschien valt het je op dat er vanaf nu ook berichten over games, films en series op onze site verschijnen. Dat is een bewuste stap. Wij geloven dat technologie niet stopt bij hardware; het gaat uiteindelijk om wat je ermee beleeft. Daarom combineren we onze expertise in tech nu met het laatste nieuws over entertainment. Dat doen we met de gezichten die mensen kennen van Power Unlimited, dé experts op het gebied van gaming en streaming. Zo helpen we je niet alleen aan de beste tv, smartphone of laptop, maar vertellen we je ook direct wat je erop moet kijken of spelen. Je vindt hier dus voortaan de ideale mix van hardware én content.

Ubisoft Toronto-ontwikkelaar Anthony Armstrong plaatste in december een inmiddels verwijderd bericht op LinkedIn. Daarin viel te lezen dat een familielid van hem al jaren tegen kanker streed, en dat de persoon in kwestie nog maar een halfjaar tot jaar te leven had.

'Geweldig nieuws'

In het bericht verduidelijkte Armstrong dat het familielid in kwestie een enorme fan van de Grand Theft Auto-reeks is, en dat het er naar uitzag dat de persoon niet het nieuwste deel in de reeks zou kunnen spelen, dat pas op 19 november uitkomt. Armstrong sprak dan ook de wens uit dat GTA-ontwikkelaar Rockstar Games het op een of andere manier mogelijk zou kunnen maken om de zieke fan alvast GTA 6 te laten spelen.

Enkele weken later gaf Armstrong een update: de ceo van Take-Two Interactive - de uitgever van de GTA-spellen - had contact opgenomen en alleen ontwikkelaar Rockstar moest nog laten weten wat er mogelijk was. In een laatste update voordat het hele bericht werd verwijderd, liet Armstrong weten dat contact met Rockstar inmiddels was gelegd en dat er "geweldig nieuws" uit kwam.

Het lijkt er dus op dat Rockstar Games de terminaal zieke fan tegemoet kwam en hem alvast Grand Theft Auto 6 liet spelen. Het is niet voor het eerst dat de ontwikkelaar iets dergelijks mogelijk maakt: in 2018 mocht een terminaal zieke fan al aan de slag met Rockstars Red Dead Redemption 2, dat een paar weken later pas uit zou komen.

Over Grand Theft Auto 6

De rest van de wereld moet in ieder geval nog tot 19 november wachten tot men met Grand Theft Auto 6 aan de slag kan op PlayStation 5 en Xbox Series X en S. De game draait om twee hoofdpersonages: Lucia Caminos en Jason Duval. Het duo heeft een relatie, en duidelijk is in ieder geval dat Lucia vrijkomt uit de gevangenis en het tweetal vervolgens nog verder het criminele pad op gaat.

De game speelt zich af in Vice City, een fictieve versie van Miami, en omstreken. Dat betekent dat spelers glooiende stranden en met neon verlichte straten kunnen verwachten. Het was ook al de setting van de PlayStation 2-game Grand Theft Auto: Vice City, dat na GTA 3 uitkomt. Naar verwachting zal Grand Theft Auto 6 een ongekende hoeveelheid details vertonen. Lees hier alles over de game.

View post on Instagram