Je eigen gezicht op een filmpersonage plakken is geestig en vrij onschuldig, een politicus iets laten zeggen wat hij of zij nooit gezegd heeft is al van een andere orde. We hebben het uiteraard over deepfakes. Hoe werkt de technologie achter synthetische media?

Een belangrijk containerbegrip waar deepfakes onder vallen is ‘synthetische media’. Dat staat voor content die niet door mensen is gemaakt, maar door computers gegenereerd. Het gaat bijvoorbeeld om foto’s of video’s die niet echt zijn, maar er wel heel echt uitzien. Maar het kan ook gaan om audio, teksten of virtuele objecten. De content wordt geproduceerd door een algoritme op basis van kunstmatige intelligentie (AI, artificial intelligence). 

Deze AI wordt gevoed en getraind door data, zoals foto’s met verschillende gezichtskenmerken, bewegende beelden van een persoon, teksten, muziek of het interieur van huizen. Hoe groter de dataset, des te beter de vaardigheden van het algoritme worden. Software heeft ten opzichte van mensen het voordeel dat het content met hoge snelheid en op oneindige schaal kan produceren.

Een algoritme kan op basis van een dataset met bijvoorbeeld foto’s van tienduizenden personen de gelaatskenmerken analyseren, zoals de positie en kenmerken van de ogen, neus en mond, wenkbrauwen, haar en bijvoorbeeld moedervlekken. Door die vanuit verschillende hoeken te analyseren ontstaat een 3D-model van het gezicht. 

Op basis daarvan, en de overeenkomsten en verschillen tussen mensen in de dataset, kan het algoritme zelf mensen ‘maken’. Wanneer beelden gecombineerd worden van echte mensen wordt dit een deepfake genoemd. Maar het kan ook op basis van random noise, oftewel pixels.

©PXimport

Face swappen

Een onderdeel dat vaak in het nieuws komt, is een zogenoemde deepfake-video of -foto. Hierbij wordt een persoon gedeeltelijk vervangen door een andere persoon – bijvoorbeeld door het gezicht te verwisselen. Het begrip ‘deepfake’ is een samenvoeging van twee Engelse woorden: ‘deep learning’ en ‘fake’. Deep learning is een onderdeel van ‘machine learning’, dat gebaseerd is op kunstmatige neurale netwerken. Het wordt gebruikt om bestaande afbeeldingen en video te combineren, en delen ervan te integreren. 

Bij veel deepfake-video’s wordt meestal alleen een klein deel van een persoon vervangen: het gezicht. Dit heet een ‘faceswap’. Dit scheelt kostbare rekenkracht en het is beduidend minder complex omdat niet al het haar, lichaam, kleding en de achtergrond hoeft te worden vervangen. In de praktijk worden vaak alleen de gelaatstrekken van een hoofd overgenomen, zoals de ogen, neus, wenkbrauwen, gezichtshaar en mond. Deze worden wel zo aangepast dat de kleur en de belichting van het gezicht overeenkomt met het origineel. 

Het resultaat ziet er vaak verrassend echt uit, zeker wanneer het personen betreft die qua bouw een beetje op elkaar lijken. Een bekend voorbeeld is een scène van Arnold Schwarzenegger in Terminator 2, waarbij het gezicht is vervangen door aartsrivaal Sylvester Stallone. Een faceswap is tegenwoordig zo eenvoudig dat iedere consumentencomputer het kan: er bestaat kant-en-klare opensource-software voor. Ook smartphones zijn krachtig genoeg en er zijn talloze apps, zoals Reface.

Hoe werkt deepfake?

Het manipuleren van bestaande beelden of een faceswap werkt door eerst het bronbeeld uitvoerig te analyseren: de positie en de bewegingen van alle onderdelen van het gezicht worden uitvoerig ontleedt, evenals het licht en de hoek van het gezicht. Alle individuele frames worden apart opgeslagen. Vervolgens gebeurt hetzelfde met het doelbeeld, waarbij de gezichten over elkaar worden gelegd. Hoe groter de dataset aan beelden is, des te beter is het eindresultaat.

Het produceren van een compleet nieuw beeld door een algoritme werkt anders. Dit gebeurt met een techniek die bekend staat als GAN (Generative Adversarial Network). Dit is een klasse van algoritmen voor ongecontroleerd leren. Het werkt door middel van een soort spelscenario waarbij twee neurale netwerken tegen elkaar strijden en samenwerken. 

Het eerste netwerk is de generator, die een beeld genereert (maar het kan ook een tekst of audiofragment zijn). Het tweede netwerk is de discriminator, die is getraind op een grote database van voorbeelden en probeert te detecteren of het beeld echt is, of gefabriceerd door de generator. Dit proces gaat net zo lang door tot het door het eerste netwerk geproduceerde beeld zo goed is, dat het aangemerkt wordt als echt. Het netwerk van de generator traint zichzelf dus als het ware omdat het telkens anticipeert op de afwijzingen van de discriminator. 

Een GAN die op foto’s is getraind, kan zelf beelden genereren die niet van echt te onderscheiden zijn. Deze foto’s of video’s zijn dus niet samengesteld uit echte beelden, zoals bij deepfake, maar volledig op basis van nieuwe pixels gegenereerd. Het gaat dan dus om mensen die in werkelijkheid niet bestaan, maar er wel levensecht uitzien. Voorbeelden zijn te zien op sites als thispersondoesnotexist.com. Voor katten, huiskamers en landschappen bestaat deze techniek ook.

Hollywood

De techniek worden steeds vaker toegepast in Hollywoodfilms. In Terminator Genisys, Captain Marvel, Tron: Legacy, The Irishman en Gemini werden hoofdrolspelers tientallen jaren jonger gemaakt. In 2016 zagen we een jonge Carrie Fisher als prinses Leia in Star Wars: Rogue One en in Episode IX figureerde zij zelfs na haar dood.

Amerikaanse filmmakers overwegen zelfs de in 1955 overleden acteur James Dean, te laten figureren in een nieuwe Vietnamfilm, omdat ze zijn persoon zo goed bij de rol vinden passen. Ook voor tv en op YouTube worden steeds vaker deepfakes gebruikt. Zo zond het Britse tv-netwerk Channel 4 beelden van Koningin Elizabeth uit waarbij ze een TikTok-dans deed. 

In Zondag met Lubach ontkrachtte Gerry Baudet uitspraken die door zijn ‘broertje’ waren gedaan. In december 2020 publiceerde YouTube-kanaal Sassy Justice, van de makers van South Park, een zogenaamd kerstverhaal van President Trump waarin twee rendieren onderling ruzie krijgen over de uitslag van de verkiezingen. De opname lijkt verrassend echt, inclusief de bewegingen, handgebaren, gelaatstrekken en de stem van Trump. 

Tenslotte ontstond onlangs veel reuring nadat De Correspondent een gemanipuleerd filmpje van Mark Rutte online zette, waarin het leek alsof de VVD-politicus ineens wel erg begaan was met het klimaat. Op de stem na zou je het zo geloven! 

Tekst: Jeroen Horlings

Bij ID.nl zijn we gek op producten waar je niet de hoofdprijs voor betaalt. Daarom gaan we een paar keer per week op zoek naar zulke deals. Met de feestdagen voor de deur kijken we dit keer naar 5.1-surroundsets voor de woonkamer. Want wat is er nou leuker om je favoriete film of serie te kijken met supergoed geluid? Of bij het gamen? Voor minder dan 300 euro welteverstaan.

Een 5.1 speakerset is een geluidssysteem dat is opgebouwd uit zes verschillende luidsprekers. Het cijfer 5 staat voor de satellietluidsprekers: een middenkanaal voor spraak, twee speakers voorin (links en rechts) en twee speakers die je achter je plaatst. De .1 verwijst naar de subwoofer, die specifiek de lage bastonen voor zijn rekening neemt. Doordat deze luidsprekers rondom de luisterpositie worden geplaatst, komt het geluid vanuit verschillende richtingen op je af. Dit creëert een ruimtelijk effect waardoor je bij het kijken van films en series of het spelen van games wordt omringd door geluid.

Logitech Z906

Deze set is ontworpen om meerdere audiobronnen tegelijkertijd te kunnen verwerken. Je sluit tot zes apparaten aan, zoals een televisie, gameconsole of computer, via de beschikbare digitale optische, digitale coaxiale of analoge ingangen. De set beschikt over een bedieningsconsole die je stapelt bij je apparatuur en een draadloze afstandsbediening voor bediening vanaf de bank. Het systeem levert een continu vermogen van 500 watt en is THX-gecertificeerd, wat betekent dat het voldoet aan specifieke prestatie-eisen voor bioscoopgeluid. De decodering ondersteunt Dolby Digital en DTS-soundtracks. Naast de subwoofer krijg je vier satellietluidsprekers en een middenkanaal die je flexibel kunt plaatsen.

Sony HT-S40R

Bij dit systeem worden de achterste luidsprekers aangestuurd door een draadloze versterker, waardoor er geen kabels van de soundbar voorin de kamer naar achteren hoeven te lopen. De soundbar zelf beschikt over drie kanalen en werkt samen met de subwoofer en de twee achterspeakers voor de 5.1-weergave. Het totale uitgangsvermogen bedraagt 600 watt. Voor de connectiviteit maak je gebruik van HDMI ARC, een optische ingang of een analoge aansluiting. Daarnaast is er Bluetooth 5.0 aanwezig voor het streamen van audio vanaf mobiele apparaten. De soundbar kan aan de muur worden bevestigd of voor de televisie worden geplaatst.

Trust GXT 658 Tytan

Dit geluidssysteem is eigenlijk voornamelijk bedoeld voor games en in combinatie met een pc of gameconsole, waarbij de houten subwoofer het middelpunt vormt. De basweergave is gesynchroniseerd met geïntegreerde LED-verlichting die reageert op het ritme van het geluid. Het systeem schakelt automatisch naar een stand-by modus wanneer het niet in gebruik is. De set wordt geleverd met een afstandsbediening waarmee je onder andere de bas en het volume regelt. De kabels voor de achterste luidsprekers hebben een lengte van 8 meter, wat plaatsing in grotere ruimtes mogelijk maakt zonder verlengsnoeren. Het piekvermogen ligt op 180 watt.

Hisense AX5100G

Dit audiosysteem ondersteunt Dolby Atmos-technologie voor een ruimtelijke geluidsweergave. De set bestaat uit een soundbar, een losse subwoofer en twee achterluidsprekers. Met een totaal vermogen van 340 watt worden de verschillende frequenties verdeeld over de speakers. Je hebt de beschikking over diverse equalizer-modi, waaronder instellingen voor nieuws, film en games. Aansluiten op de televisie gaat via HDMI eARC, maar er zijn ook opties voor USB en een optische kabel. De achterspeakers plaats je achter de luisterpositie om het surround-effect van de 5.1-opstelling te completeren.

Sony HT-S20R

Je installeert dit systeem met een soundbar, subwoofer en twee bedrade achterspeakers. De soundbar verzorgt de linker-, rechter- en middenkanalen, terwijl de externe subwoofer de lage tonen voor zijn rekening neemt. Het systeem heeft een totaal vermogen van 400 watt en ondersteunt Dolby Digital. Via de USB-poort speel je audiobestanden direct af van een geheugenstick. Voor de verbinding met de televisie gebruik je HDMI ARC, maar als je televisie dit niet ondersteunt, zijn er optische en analoge ingangen beschikbaar. De set beschikt over diverse geluidsmodi die je met een knop op de afstandsbediening selecteert.

AOC brengt met de Gaming 25G4KUR een monitor op de markt die volledig is afgestemd op competitieve gamers. Het 24,5-inch scherm haalt een verversingssnelheid tot 420 Hz en biedt snelle reactietijden, Adaptive-Sync en ergonomische instelmogelijkheden.

Supersnel beeld voor competitieve spelers

De AOC Gaming 25G4KUR (adviesprijs 259 euro) is bedoeld voor wie elke milliseconde telt. Dankzij een overklokte verversingssnelheid van 420 Hz (400 Hz standaard) en een responstijd tot 0,3 milliseconde reageert het scherm vrijwel direct op elke actie. Dat maakt hem geschikt voor snelle shooters, esports-toernooien en spelers die vloeiende bewegingen en minimale vertraging willen.

Het 24,5-inch formaat is populair onder professionele esports-spelers, omdat het speelveld overzichtelijk blijft zonder dat de ogen veel hoeven te bewegen. De Full HD-resolutie zorgt ervoor dat hoge framerates haalbaar zijn, zelfs met een middenklasse grafische kaart.

©AGON by AOC

Heldere kleuren en vloeiende beelden

De 25G4KUR gebruikt een Fast IPS-paneel met brede kijkhoeken en een kleurdekking van 121 procent sRGB. Het scherm is compatibel met NVIDIA G-SYNC. Adaptive-Sync, zorgt ervoor dat beelden vloeiend blijven zonder haperingen of tearing. DisplayHDR 400 biedt bovendien een iets hoger contrast en betere helderheid dan standaard SDR-monitoren.

Ontworpen voor urenlang gamen

AOC rust de monitor uit met functies die lange gamesessies comfortabeler moeten maken. De flicker-free achtergrondverlichting en blauwlichtreductie verminderen vermoeide ogen, terwijl de ergonomische standaard in hoogte verstelbaar is en kantel-, draai- en rotatiefuncties heeft. Via AOC's G-Menu-software kunnen spelers profielen aanmaken, instellingen aanpassen en de Low Input Lag-modus activeren.