ID.nl logo
De technologie achter deepfake en synthetische media
© Reshift Digital
Huis

De technologie achter deepfake en synthetische media

Je eigen gezicht op een filmpersonage plakken is geestig en vrij onschuldig, een politicus iets laten zeggen wat hij of zij nooit gezegd heeft is al van een andere orde. We hebben het uiteraard over deepfakes. Hoe werkt de technologie achter synthetische media?

Een belangrijk containerbegrip waar deepfakes onder vallen is ‘synthetische media’. Dat staat voor content die niet door mensen is gemaakt, maar door computers gegenereerd. Het gaat bijvoorbeeld om foto’s of video’s die niet echt zijn, maar er wel heel echt uitzien. Maar het kan ook gaan om audio, teksten of virtuele objecten. De content wordt geproduceerd door een algoritme op basis van kunstmatige intelligentie (AI, artificial intelligence). 

Deze AI wordt gevoed en getraind door data, zoals foto’s met verschillende gezichtskenmerken, bewegende beelden van een persoon, teksten, muziek of het interieur van huizen. Hoe groter de dataset, des te beter de vaardigheden van het algoritme worden. Software heeft ten opzichte van mensen het voordeel dat het content met hoge snelheid en op oneindige schaal kan produceren.

Een algoritme kan op basis van een dataset met bijvoorbeeld foto’s van tienduizenden personen de gelaatskenmerken analyseren, zoals de positie en kenmerken van de ogen, neus en mond, wenkbrauwen, haar en bijvoorbeeld moedervlekken. Door die vanuit verschillende hoeken te analyseren ontstaat een 3D-model van het gezicht. 

Op basis daarvan, en de overeenkomsten en verschillen tussen mensen in de dataset, kan het algoritme zelf mensen ‘maken’. Wanneer beelden gecombineerd worden van echte mensen wordt dit een deepfake genoemd. Maar het kan ook op basis van random noise, oftewel pixels.

©PXimport

Face swappen

Een onderdeel dat vaak in het nieuws komt, is een zogenoemde deepfake-video of -foto. Hierbij wordt een persoon gedeeltelijk vervangen door een andere persoon – bijvoorbeeld door het gezicht te verwisselen. Het begrip ‘deepfake’ is een samenvoeging van twee Engelse woorden: ‘deep learning’ en ‘fake’. Deep learning is een onderdeel van ‘machine learning’, dat gebaseerd is op kunstmatige neurale netwerken. Het wordt gebruikt om bestaande afbeeldingen en video te combineren, en delen ervan te integreren. 

Bij veel deepfake-video’s wordt meestal alleen een klein deel van een persoon vervangen: het gezicht. Dit heet een ‘faceswap’. Dit scheelt kostbare rekenkracht en het is beduidend minder complex omdat niet al het haar, lichaam, kleding en de achtergrond hoeft te worden vervangen. In de praktijk worden vaak alleen de gelaatstrekken van een hoofd overgenomen, zoals de ogen, neus, wenkbrauwen, gezichtshaar en mond. Deze worden wel zo aangepast dat de kleur en de belichting van het gezicht overeenkomt met het origineel. 

Het resultaat ziet er vaak verrassend echt uit, zeker wanneer het personen betreft die qua bouw een beetje op elkaar lijken. Een bekend voorbeeld is een scène van Arnold Schwarzenegger in Terminator 2, waarbij het gezicht is vervangen door aartsrivaal Sylvester Stallone. Een faceswap is tegenwoordig zo eenvoudig dat iedere consumentencomputer het kan: er bestaat kant-en-klare opensource-software voor. Ook smartphones zijn krachtig genoeg en er zijn talloze apps, zoals Reface.

Hoe werkt deepfake?

Het manipuleren van bestaande beelden of een faceswap werkt door eerst het bronbeeld uitvoerig te analyseren: de positie en de bewegingen van alle onderdelen van het gezicht worden uitvoerig ontleedt, evenals het licht en de hoek van het gezicht. Alle individuele frames worden apart opgeslagen. Vervolgens gebeurt hetzelfde met het doelbeeld, waarbij de gezichten over elkaar worden gelegd. Hoe groter de dataset aan beelden is, des te beter is het eindresultaat.

Het produceren van een compleet nieuw beeld door een algoritme werkt anders. Dit gebeurt met een techniek die bekend staat als GAN (Generative Adversarial Network). Dit is een klasse van algoritmen voor ongecontroleerd leren. Het werkt door middel van een soort spelscenario waarbij twee neurale netwerken tegen elkaar strijden en samenwerken. 

Het eerste netwerk is de generator, die een beeld genereert (maar het kan ook een tekst of audiofragment zijn). Het tweede netwerk is de discriminator, die is getraind op een grote database van voorbeelden en probeert te detecteren of het beeld echt is, of gefabriceerd door de generator. Dit proces gaat net zo lang door tot het door het eerste netwerk geproduceerde beeld zo goed is, dat het aangemerkt wordt als echt. Het netwerk van de generator traint zichzelf dus als het ware omdat het telkens anticipeert op de afwijzingen van de discriminator. 

Een GAN die op foto’s is getraind, kan zelf beelden genereren die niet van echt te onderscheiden zijn. Deze foto’s of video’s zijn dus niet samengesteld uit echte beelden, zoals bij deepfake, maar volledig op basis van nieuwe pixels gegenereerd. Het gaat dan dus om mensen die in werkelijkheid niet bestaan, maar er wel levensecht uitzien. Voorbeelden zijn te zien op sites als thispersondoesnotexist.com. Voor katten, huiskamers en landschappen bestaat deze techniek ook.

Hollywood

De techniek worden steeds vaker toegepast in Hollywoodfilms. In Terminator Genisys, Captain Marvel, Tron: Legacy, The Irishman en Gemini werden hoofdrolspelers tientallen jaren jonger gemaakt. In 2016 zagen we een jonge Carrie Fisher als prinses Leia in Star Wars: Rogue One en in Episode IX figureerde zij zelfs na haar dood.

Amerikaanse filmmakers overwegen zelfs de in 1955 overleden acteur James Dean, te laten figureren in een nieuwe Vietnamfilm, omdat ze zijn persoon zo goed bij de rol vinden passen. Ook voor tv en op YouTube worden steeds vaker deepfakes gebruikt. Zo zond het Britse tv-netwerk Channel 4 beelden van Koningin Elizabeth uit waarbij ze een TikTok-dans deed. 

In Zondag met Lubach ontkrachtte Gerry Baudet uitspraken die door zijn ‘broertje’ waren gedaan. In december 2020 publiceerde YouTube-kanaal Sassy Justice, van de makers van South Park, een zogenaamd kerstverhaal van President Trump waarin twee rendieren onderling ruzie krijgen over de uitslag van de verkiezingen. De opname lijkt verrassend echt, inclusief de bewegingen, handgebaren, gelaatstrekken en de stem van Trump. 

Tenslotte ontstond onlangs veel reuring nadat De Correspondent een gemanipuleerd filmpje van Mark Rutte online zette, waarin het leek alsof de VVD-politicus ineens wel erg begaan was met het klimaat. Op de stem na zou je het zo geloven! 

Tekst: Jeroen Horlings

▼ Volgende artikel
Review Philips Café Aromis 8000-serie - Horecakoffie gewoon bij je thuis
© Philips
Huis

Review Philips Café Aromis 8000-serie - Horecakoffie gewoon bij je thuis

Thuis koffie van restaurantkwaliteit? De Philips Café Aromis 8000-serie belooft het. In deze review lees je of deze volautomaat de hype waarmaakt. Van perfect melkschuim tot minimaal onderhoud: ontdek waarom dit apparaat je lokale barista overbodig maakt, zelfs met gewone supermarktbonen!

Fantastisch
Conclusie

Dit is meer dan een keukenapparaat; het is een stukje levensgeluk. Je hoeft niet meer te kiezen tussen gemak en smaak. De Philips Café Aromis 8000 bewijst dat je dat perfecte koffiemomentje gewoon thuis kunt creëren. Zonder barista-cursus, zonder gedoe, maar mét die gelukzalige stilte na de eerste slok.

Plus- en minpunten
  • Barista-melkschuim zonder slangetjes
  • Haalt goud uit supermarktbonen
  • Stil in gebruik
  • Einde aan discussies dankzij gebruikersprofielen
  • Foolproof bediening: iedereen kan nu topkoffie zetten
  • Vakje voor gemalen koffie is wat knullig
  • Geen actieve kopjeswarmer
  • Plastic lekbak voelt goedkoop aan

Je kent het vast: je zit in je favoriete koffietentje, neemt een eerste slok van de cappuccino die je hebt besteld en valt even stil. De temperatuur, het mondgevoel, die volle smaak… alles lijkt te kloppen. En dan denk je aan de koffie thuis. Die is prima, of in elk geval best oké. Maar daar blijft het dan ook bij.

Dat dacht ik tenminste. Tot ik de Philips Café Aromis 8000-serie op mijn aanrecht installeerde en mijn keuken stante pede in een soort hippe koffiebar veranderde. De installatie van deze fraaie machine behelst niet meer dan een stekker in het stopcontact, water in het reservoir en een dosis verse koffiebonen bovenin. That’s it. Daarna kan het feest beginnen.

Hoewel de term 'restaurantkwaliteit' vaak niet meer dan een loze marketingkreet is, maakt dit apparaat dat woord opeens bizar concreet. Dat zit 'm in heel basale dingen: de koffie is direct op de juiste temperatuur (niet dat lauwe net-niet) en de smaak is vol en romig, zonder die nare bittere nasmaak. Dit apparaat lijkt bovendien precies te snappen wat jij wil; zonder dat je zelf als een bezetene aan de knoppen hoeft te draaien, staat er binnen de kortste keren een meer dan fatsoenlijke kop koffie voor je neus. Wat een topding!

©Philips

Bonen vs cups: fight!

Voor wie nog twijfelt om de overstap te maken van cups naar bonen: doe het. Het verschil is niet subtiel, het is een aardverschuiving. Waar capsules vaak toch een beetje vlak smaken, proef je hier ineens nuances die je eerder miste. Het apparaat oogt misschien intimiderend professioneel, maar de bediening is uiteindelijk net zo simpel als je gewend bent van je good old Nespresso.

Duurdoenerij niet nodig

Erg prettig is het feit dat de machine enorm vergevingsgezind is. Hippe koffiesnobs vertellen je doorgaans dat je zonder exclusieve bonen van 30 euro per kilo nergens bent. Onzin, blijkt nu. Zelfs met een zak supermarktbonen en een pak volle melk (lang houdbaar werkt het best!) tovert dit ding een resultaat tevoorschijn waar je u tegen zegt. Hij weet echt het maximale uit elke boon te persen. Luxe zonder dat je boodschappenlijstje ingewikkeld of overdreven duur wordt, ik hou ervan.

En dan de melk. Vaak is dat thuis niet meer dan een zielig laagje luchtbelletjes dat na tien seconden als sneeuw voor de zon verdwijnt. Hier niet. Dit schuim is stevig, rijk en blijft dapper overeind staan. M'n ochtendcappuccino heb ik dan ook spontaan heilig verklaard, maar de echte verrassing is wat mij betreft de optie 'Melange'. Die is gloeiend heet, heeft de ideale verhouding tussen melk en koffie (puristen verklaren me voor gek) en maakt me elke keer weer instant gelukkig. Ik was aanvankelijk wat sceptisch over dit soort voorgeprogrammeerde recepten, maar deze verhouding is zo perfect afgestemd dat het elke keer weer aanvoelt als een echte traktatie.

©Philips

'Wat willen jullie drinken?'

Bezoek over de vloer? Kom maar door met de bestellingen! Vroeger hoopte ik stiekem op de keuze voor zwart (want: geen gedoe met melk), nu draai ik mijn hand niet meer om voor een latte of espresso macchiato. Sterker nog, ik nodig mensen nu vol enthousiasme uit om een kopje koffie te komen doen, en de reacties zijn elke keer unaniem: "Wauw, lekkere koffie!" 

Het mooie is dat je specifieke voorkeuren van je bezoek niet elke keer opnieuw hoeft in te voeren. Dankzij de gebruikersprofielen heeft iedereen in huis zijn eigen 'knop'. De een wil de latte met extra melk, de ander wil 'm juist sterker: dat kun je allemaal opslaan. En de machine verrast ook in de breedte. Waar ik zelf inmiddels min of meer verslaafd ben aan de Red Eye (een pittige boost voor de korte nachten), scoor ik bij mijn dochter punten met de 'Babychino'-functie: alleen warm melkschuim. Lekker voor het slapen gaan. 

Voor de liefhebbers zitten er trouwens nog allerlei cold brew-opties in het assortiment. Niet helemaal mijn ding – koffie kan me niet heet genoeg – maar fijn dat het kan als de smaak (of het bezoek) daarom vraagt.

©Eelko Rol

Geen schoonmaak-nachtmerries

Dan het onderhoud. We kennen de horrorverhalen van schimmelende slangetjes in volautomaten en hopeloos verkalkte zetgroepen. De Café Aromis 8000 is wat dat betreft een verademing. Water bijvullen, bakje met koffiepucks legen en (belangrijk!) de melkhouder gewoon even omspoelen onder de kraan (schijnt zelfs in de vaatwasser te kunnen). Geen ingewikkeld gedoe; de machine spoelt zichzelf krachtig door bij het opstarten en afsluiten. Het ding staat er, hij werkt en zeurt verder niet om aandacht. Had ik al gezegd dat dit een topding is?

O, en er is een app. Is die noodzakelijk? Neuh. Is het lekker? Ja! Via de app kun je de machine alvast aan het werk zetten terwijl je zelf nog even je mail checkt in bed. Je weet: technologie is op zijn best als het je luiheid faciliteert, en dat heeft Philips hier goed begrepen.

©Philips

Conclusie? Dit is meer dan een keukenapparaat; het is een stukje levensgeluk. Je hoeft niet meer te kiezen tussen gemak (dag Senseo!) en smaak. De Philips Café Aromis 8000 bewijst dat je dat perfecte koffiemomentje gewoon thuis kunt creëren. Zonder barista-cursus, zonder gedoe, maar mét die gelukzalige stilte na de eerste slok.

Enige minpuntje is wellicht de prijs, want die is met 999 euro best fors. Maar reken maar uit: een cappuccino kost tegenwoordig al snel 4 euro, dus met 250 gloeiend hete geluksmomentjes thuis heb je deze machine er al uit. Dat moet je jezelf gewoon gunnen.

▼ Volgende artikel
Voormalige Assassin's Creed-baas klaagt Ubisoft aan
Huis

Voormalige Assassin's Creed-baas klaagt Ubisoft aan

Marc-Alexis Côté, die voorheen de Assassin's Creed-gamefranchise bij Ubisoft overzag, heeft dat bedrijf nu aangeklaagd.

Nieuw op ID: het complete plaatje

Misschien valt het je op dat er vanaf nu ook berichten over games, films en series op onze site verschijnen. Dat is een bewuste stap. Wij geloven dat technologie niet stopt bij hardware; het gaat uiteindelijk om wat je ermee beleeft. Daarom combineren we onze expertise in tech nu met het laatste nieuws over entertainment. Dat doen we met de gezichten die mensen kennen van Power Unlimited, dé experts op het gebied van gaming en streaming. Zo helpen we je niet alleen aan de beste tv, smartphone of laptop, maar vertellen we je ook direct wat je erop moet kijken of spelen. Je vindt hier dus voortaan de ideale mix van hardware én content.

Afgelopen oktober werd aangekondigd dat Côté vertrokken was bij het bedrijf. Dat gebeurde rond dezelfde tijd als dat Ubisoft de Assassin's Creed-franchise onderbracht onder Vantage Studios, een nieuwe dochteronderneming die het samen met Tencent heeft opgericht. Côté heeft decennialang aan de Assassin's Creed-franchise gewerkt en stond de laatste jaren aan het hoofd van de populaire spellenreeks.

Côté zou toen Assassin's Creed naar Vantage Studios ging een aanbod van Ubisoft hebben gekregen om een andere leidende positie binnen het bedrijf aan te nemen. Côté liet kort daarna publiekelijk weten dat deze positie niet vergelijkbaar was met zijn eerdere werk.

De aanklacht

Nu klaagt Côté Ubisoft dus aan, zo meldt CBC Radio Canada. Volgens hem zou hij de rol van 'Head of Production' aangeboden hebben gekregen binnen Ubisoft nadat Assassin's Creed binnen Vantage Studios werd ondergebracht, gevolgd door een mogelijke positie als 'Creative House'.

Volgens Côté zou hij daardoor leiderschap krijgen over "tweederangs" Ubisoft-franchises. Aangezien hij daarvoor de Assassin's Creed-franchise overzag, voelde dit voor hem als een wezenlijke stap terug.

Côté nam naar eigen zeggen twee weken vrij om over deze situatie te reflecteren. Aan het einde van die periode zou Ubisoft hebben geëist dat hij een besluit moest maken en besloot Côté dat dit een onacceptabele situatie was, en een "ontslag in vermomming". Hij eiste dan ook ontslagvergoeding, waarna hij te horen kreeg dat hij niet meer op werk hoefde te komen en Ubisoft aankondigde dat hij was vertrokken.

Volgens Côté heeft Ubisoft geclaimd dat hij vrijwillig is vertrokken, zodat men geen ontslagvergoeding hoefde te betalen. Côté eist nu twee jaar aan loon als ontslagvergoeding en 75.000 dollar aan schadevergoeding vanwege machtsmisbruik en schade aan zijn reputatie. In totaal komt dat neer op meer dan 1,3 miljoen dollar. Ook wil hij dat het concurrentiebeding komt te vervallen.

Vantage Studios en Assassin's Creed

Ubisoft richtte vorig jaar samen met het Chinese Tencent de dochteronderneming Vantage Studios op. Daar zijn de drie belangrijkste Ubisoft-franchise in ondergebracht, namelijk Assassin's Creed, Far Cry en Rainbow Six. Ook de ontwikkelteams die aan deze reeksen werken maken nu onderdeel uit van Vantage Studios.

De Assassin's Creed-franchise is al jarenlang een van de belangrijkste gamereeksen van de Franse uitgever Ubisoft. In de spellen gebruiken spelers parkour, stealth en gevechten om diverse exotische locaties uit de geschiedenis te verkennen. Het meest recente deel is het vorig jaar uitgekomen Assassin's Creed Shadows.