ID.nl logo
De technologie achter deepfake en synthetische media
© Reshift Digital
Huis

De technologie achter deepfake en synthetische media

Je eigen gezicht op een filmpersonage plakken is geestig en vrij onschuldig, een politicus iets laten zeggen wat hij of zij nooit gezegd heeft is al van een andere orde. We hebben het uiteraard over deepfakes. Hoe werkt de technologie achter synthetische media?

Een belangrijk containerbegrip waar deepfakes onder vallen is ‘synthetische media’. Dat staat voor content die niet door mensen is gemaakt, maar door computers gegenereerd. Het gaat bijvoorbeeld om foto’s of video’s die niet echt zijn, maar er wel heel echt uitzien. Maar het kan ook gaan om audio, teksten of virtuele objecten. De content wordt geproduceerd door een algoritme op basis van kunstmatige intelligentie (AI, artificial intelligence). 

Deze AI wordt gevoed en getraind door data, zoals foto’s met verschillende gezichtskenmerken, bewegende beelden van een persoon, teksten, muziek of het interieur van huizen. Hoe groter de dataset, des te beter de vaardigheden van het algoritme worden. Software heeft ten opzichte van mensen het voordeel dat het content met hoge snelheid en op oneindige schaal kan produceren.

Een algoritme kan op basis van een dataset met bijvoorbeeld foto’s van tienduizenden personen de gelaatskenmerken analyseren, zoals de positie en kenmerken van de ogen, neus en mond, wenkbrauwen, haar en bijvoorbeeld moedervlekken. Door die vanuit verschillende hoeken te analyseren ontstaat een 3D-model van het gezicht. 

Op basis daarvan, en de overeenkomsten en verschillen tussen mensen in de dataset, kan het algoritme zelf mensen ‘maken’. Wanneer beelden gecombineerd worden van echte mensen wordt dit een deepfake genoemd. Maar het kan ook op basis van random noise, oftewel pixels.

©PXimport

Face swappen

Een onderdeel dat vaak in het nieuws komt, is een zogenoemde deepfake-video of -foto. Hierbij wordt een persoon gedeeltelijk vervangen door een andere persoon – bijvoorbeeld door het gezicht te verwisselen. Het begrip ‘deepfake’ is een samenvoeging van twee Engelse woorden: ‘deep learning’ en ‘fake’. Deep learning is een onderdeel van ‘machine learning’, dat gebaseerd is op kunstmatige neurale netwerken. Het wordt gebruikt om bestaande afbeeldingen en video te combineren, en delen ervan te integreren. 

Bij veel deepfake-video’s wordt meestal alleen een klein deel van een persoon vervangen: het gezicht. Dit heet een ‘faceswap’. Dit scheelt kostbare rekenkracht en het is beduidend minder complex omdat niet al het haar, lichaam, kleding en de achtergrond hoeft te worden vervangen. In de praktijk worden vaak alleen de gelaatstrekken van een hoofd overgenomen, zoals de ogen, neus, wenkbrauwen, gezichtshaar en mond. Deze worden wel zo aangepast dat de kleur en de belichting van het gezicht overeenkomt met het origineel. 

Het resultaat ziet er vaak verrassend echt uit, zeker wanneer het personen betreft die qua bouw een beetje op elkaar lijken. Een bekend voorbeeld is een scène van Arnold Schwarzenegger in Terminator 2, waarbij het gezicht is vervangen door aartsrivaal Sylvester Stallone. Een faceswap is tegenwoordig zo eenvoudig dat iedere consumentencomputer het kan: er bestaat kant-en-klare opensource-software voor. Ook smartphones zijn krachtig genoeg en er zijn talloze apps, zoals Reface.

Hoe werkt deepfake?

Het manipuleren van bestaande beelden of een faceswap werkt door eerst het bronbeeld uitvoerig te analyseren: de positie en de bewegingen van alle onderdelen van het gezicht worden uitvoerig ontleedt, evenals het licht en de hoek van het gezicht. Alle individuele frames worden apart opgeslagen. Vervolgens gebeurt hetzelfde met het doelbeeld, waarbij de gezichten over elkaar worden gelegd. Hoe groter de dataset aan beelden is, des te beter is het eindresultaat.

Het produceren van een compleet nieuw beeld door een algoritme werkt anders. Dit gebeurt met een techniek die bekend staat als GAN (Generative Adversarial Network). Dit is een klasse van algoritmen voor ongecontroleerd leren. Het werkt door middel van een soort spelscenario waarbij twee neurale netwerken tegen elkaar strijden en samenwerken. 

Het eerste netwerk is de generator, die een beeld genereert (maar het kan ook een tekst of audiofragment zijn). Het tweede netwerk is de discriminator, die is getraind op een grote database van voorbeelden en probeert te detecteren of het beeld echt is, of gefabriceerd door de generator. Dit proces gaat net zo lang door tot het door het eerste netwerk geproduceerde beeld zo goed is, dat het aangemerkt wordt als echt. Het netwerk van de generator traint zichzelf dus als het ware omdat het telkens anticipeert op de afwijzingen van de discriminator. 

Een GAN die op foto’s is getraind, kan zelf beelden genereren die niet van echt te onderscheiden zijn. Deze foto’s of video’s zijn dus niet samengesteld uit echte beelden, zoals bij deepfake, maar volledig op basis van nieuwe pixels gegenereerd. Het gaat dan dus om mensen die in werkelijkheid niet bestaan, maar er wel levensecht uitzien. Voorbeelden zijn te zien op sites als thispersondoesnotexist.com. Voor katten, huiskamers en landschappen bestaat deze techniek ook.

Hollywood

De techniek worden steeds vaker toegepast in Hollywoodfilms. In Terminator Genisys, Captain Marvel, Tron: Legacy, The Irishman en Gemini werden hoofdrolspelers tientallen jaren jonger gemaakt. In 2016 zagen we een jonge Carrie Fisher als prinses Leia in Star Wars: Rogue One en in Episode IX figureerde zij zelfs na haar dood.

Amerikaanse filmmakers overwegen zelfs de in 1955 overleden acteur James Dean, te laten figureren in een nieuwe Vietnamfilm, omdat ze zijn persoon zo goed bij de rol vinden passen. Ook voor tv en op YouTube worden steeds vaker deepfakes gebruikt. Zo zond het Britse tv-netwerk Channel 4 beelden van Koningin Elizabeth uit waarbij ze een TikTok-dans deed. 

In Zondag met Lubach ontkrachtte Gerry Baudet uitspraken die door zijn ‘broertje’ waren gedaan. In december 2020 publiceerde YouTube-kanaal Sassy Justice, van de makers van South Park, een zogenaamd kerstverhaal van President Trump waarin twee rendieren onderling ruzie krijgen over de uitslag van de verkiezingen. De opname lijkt verrassend echt, inclusief de bewegingen, handgebaren, gelaatstrekken en de stem van Trump. 

Tenslotte ontstond onlangs veel reuring nadat De Correspondent een gemanipuleerd filmpje van Mark Rutte online zette, waarin het leek alsof de VVD-politicus ineens wel erg begaan was met het klimaat. Op de stem na zou je het zo geloven! 

Tekst: Jeroen Horlings

▼ Volgende artikel
Vertrokken Lucasfilm-baas geeft update over aankomende Star Wars-films
Huis

Vertrokken Lucasfilm-baas geeft update over aankomende Star Wars-films

Kathleen Kennedy, de voorzitter van Lucasfilm die eerder deze week aankondigde te vertrekken bij het bedrijf, heeft een update gegeven over verschillende Star Wars-films die er aan zitten te komen.

Nieuw op ID: het complete plaatje

Misschien valt het je op dat er vanaf nu ook berichten over games, films en series op onze site verschijnen. Dat is een bewuste stap. Wij geloven dat technologie niet stopt bij hardware; het gaat uiteindelijk om wat je ermee beleeft. Daarom combineren we onze expertise in tech nu met het laatste nieuws over entertainment. Dat doen we met de gezichten die mensen kennen van Power Unlimited, dé experts op het gebied van gaming en streaming. Zo helpen we je niet alleen aan de beste tv, smartphone of laptop, maar vertellen we je ook direct wat je erop moet kijken of spelen. Je vindt hier dus voortaan de ideale mix van hardware én content.

Dat deed ze in een interview met Deadline, waarin ze ook terugblikt op haar tijd bij Lucasfilm. We wisten al van het bestaan van de aankomende films die ze vervolgens aanhaalde, maar op deze manier wordt er iets meer duidelijkheid gecreëerd over de status van deze projecten.

Mogelijke projecten

Zo werken James Mangold en Beau Willimon aan een script voor een film over het ontstaan van de Jedi - mogelijk genaamd Dawn of the Jedi. Volgens Kennedy heeft het duo een geweldig script geschreven, maar ligt de progressie rondom de film nu tijdelijk stil.

Daarnaast heeft ook Taika Waititi - bekend van de moderne Thor-films, What We Do in the Shadows en Jojo Rabbit - een script ingeleverd die blijkbaar "hilarisch" is. "Het is alleen niet mijn besluit (wat ermee gebeurt), zeker nu ik wegga." Steve Soderbergh en (acteur) Adam Driver willen daarnaast een script van Scott Burns verfilmen. Eerder werd er al een film rondom Drivers personage Ben Solo afgeschoten.

Tot slot is er nog de mogelijkheid dat Rian Johnson, de maker van The Last Jedi, terugkeert. Kennedy legt uit dat Johnson het erg druk heeft met de Knives Out-films, en dat hij ook bang is geworden van de kritiek die online werd geplaatst rondom zijn meest recente Star Wars-film. In eerste instantie zou Johnson een geheel nieuwe Star Wars-trilogie regisseren, maar dat lijkt nu dus onwaarschijnlijk. Kennedy kon dan ook geen uitsluitsel geven.

Aankomende bevestigde Star Wars-films

Er is in ieder geval veel onduidelijk over de staat van de toekomstige Star Wars-films, maar gelukkig weten we van enkele films dat ze sowieso uitkomen - mede omdat ze al zijn opgenomen.

Zo is daar de Mandalorian-film - The mandalorian and Grogu - geregisseerd door Jon Favreau - die in mei uitkomt - en volgend jaar Star Wars: Starfighter. In die film hebben onder andere Ryan Gosling, Flynn Gray en Matt Smith rollen. Fans kunnen zich de komende jaren dus nog opmaken voor meer dan genoeg Star Wars.

Het vertrek van Kathleen Kennedy

Zoals gezegd treedt Kathleen Kennedy dus af als voorzitter van Lucasfilm. Zij speelde zo'n veertien jaar lang een belangrijke rol binnen deze gigantische franchise. Ze zal wel deels betrokken blijven bij de reeks, onder andere als producent van The Mandalorian and Grogu en Starfighter.

Dave Filoni en Lynwen Brennan nemen het stokje van Kennedy over. Filoni gaat zich richten op de creatieve koers van Lucasfilm en Star Wars, terwijl Brennan de zakelijke kant op zich neemt. Beiden zullen onder leiding staan van Disney-voorzitter Alan Bergman.

▼ Volgende artikel
Waar voor je geld: 5 slimme thermostaat-sets voor een automatisch warm huis
© MG | ID.nl
Energie

Waar voor je geld: 5 slimme thermostaat-sets voor een automatisch warm huis

Bij ID.nl zijn we gek op producten voor een mooie prijs of die iets bijzonders te bieden heeft. Een paar keer per week gaan we daarom op zoek naar zulke producten. Niets is zo veranderlijk als het weer; het ene moment schijn de zon en een week later vriest het en ligt er sneeuw. Hoe fijn is het dan als jouw huia automatisch wordt verwarmd op het moment dat het nodig is? Een slimme thermostaat is dan wel handig. Wij zonden vijf slimme startersets met radiatorkraan.

Om je huis wat energiezuiniger te maken is het gebruik van de CV-ketel en de verwarming een goed begin om deze wat beter reguleren. En in plaats van dat je dat zelf helemaal handmatig moet bijhouden, kun je kiezen voor een slimme thermostaat die dat voor je doet. Wij vonden vijf handige startersets met slimme thermostaat en extra apparatuur zoals radiatorkranen waarmee je direct aan de slag kunt.

Netatmo Slimme Thermostaat

Met deze uitgebreide Netatmo-bundel haal je in één keer een complete zoneregeling in huis. De set combineert de iconische Netatmo Slimme Thermostaat met maar liefst drie extra slimme radiatorkranen. Dit is de perfecte oplossing als je niet alleen je woonkamer, maar ook drie andere vertrekken (zoals een werkkamer, badkamer of slaapkamer) individueel wilt verwarmen.

Het design, ontworpen door Philippe Starck, is minimalistisch en tijdloos. De thermostaat zelf is eenvoudig te bedienen en werkt met vrijwel alle CV-ketels (aan/uit). De kracht zit echter in de combinatie met de radiatorkranen: deze meten de temperatuur per kamer en kunnen de radiator dichtdraaien als de gewenste temperatuur bereikt is, zelfs als de thermostaat in de woonkamer nog om warmte vraagt.

Dankzij de slimme Auto-Adapt functie leert het systeem de isolatie van je huis en de buitentemperatuur kennen, zodat het precies weet wanneer de verwarming aan moet om op tijd warm te zijn. Alles is aan te sturen via de gebruiksvriendelijke app of via spraak (Apple HomeKit, Google Assistant en Alexa). Met functies als open-raamdetectie en maandelijkse besparingsoverzichten helpt deze set je actief om energie te besparen zonder in te leveren op comfort.

TP‑Link KE100 KIT

Met deze set van TP‑Link maak je je radiatoren afzonderlijk aanstuurbaar. De doos bevat twee thermostatische radiatorkranen en een hub. Die hub vormt het hart van het systeem: je verbindt hem met je wifi en plaatst de radiatorkranen op de bestaande ventielen. Vervolgens kun je via de Kasa Smart‑app voor iedere ruimte een eigen temperatuur instellen. Dankzij het ingebouwde schema stel je vaste tijdstippen in waarop de radiatoren opwarmen of juist lager worden gezet. De apparaten communiceren draadloos met de hub, waardoor je ook meerdere kamers kunt bedienen.

Je kunt tot wel 32 radiatoren op één hub aansluiten. De set werkt samen met stemassistenten zoals Google Assistant, Amazon Alexa en Siri, zodat je de temperatuur per kamer kunt aanpassen zonder je telefoon erbij te pakken. Er is een vorstbeschermingsmodus die de radiator inschakelt als de temperatuur te laag wordt, handig bij koude winters. Via meegeleverde adapters passen de radiatorkranen op de meeste ventielen. En omdat ze op batterijen werken hoef je geen stroompunt in de buurt te hebben.

Imou TRV1 Kit

Dit starterspakket van Imou is bedoeld voor wie één of meerdere radiatoren los wil regelen en via internet wil bedienen. In de doos zit een thermostatische radiatorkraan en een gateway; de gateway verbindt de kraan met je thuisnetwerk via Zigbee. De kraan meet de temperatuur en stuurt het ventiel nauwkeurig aan tussen 5 °C en 35 °C, met stappen van een halve graad. Je programmeert via de Imou Life‑app een tijdschema of stelt handmatig de gewenste temperatuur in. De gateway heeft een bereik van honderd meter, zodat je de set eventueel met extra kranen kunt uitbreiden tot een maximaal aantal van 32 radiatoren.

Handige functies zijn open‑raamdetectie, antivriesstand en een kinderslot. Wanneer er een raam openstaat schakelt de kraan automatisch lager om energie te besparen. Batterijen leveren de stroom; Imou levert AA‑batterijen en diverse adapters mee. De set werkt samen met Amazon Alexa en Google Assistant zodat je via spraakcommando’s de verwarming aanstuurt. Dankzij de heldere led‑ring op de knop zie je in één oogopslag welke modus actief is. Hierdoor is het systeem geschikt voor wie op een eenvoudige manier per kamer wil verwarmen zonder ingrijpende installatie.

Hombli Smart Radiator Thermostat Starterkit

Hombli biedt een set met twee radiatorthermostaten en een bridge om de knoppen via de Hombli‑app te bedienen. Je plaatst de knoppen op de bestaande ventielen, waarna je met de bridge de verbinding maakt tussen de knoppen en je wifi‑netwerk. Met de app stel je per kamer een weekprogramma in, zodat je bijvoorbeeld ’s avonds in de woonkamer verwarmt en overdag juist in de werkkamer. De thermostaten hebben een energieverbruiksmonitor waarmee je ziet hoeveel warmte elke radiator gebruikt. Er is ook een geofencing‑optie: als je het huis verlaat, gaat de verwarming automatisch lager.

Open‑raamdetectie voorkomt onnodig stoken als er geventileerd wordt. De knoppen communiceren via bluetooth low energy; daardoor gaan de AA‑batterijen volgens Hombli tot anderhalf jaar mee. Je bedient het systeem met de app of via spraakassistenten zoals Google Assistant, Amazon Alexa en Siri. Omdat de bridge meerdere knoppen kan koppelen, kun je later uitbreiden naar extra radiatoren. Via de app kun je ook alle gekoppelde knoppen gelijktijdig aanpassen, waardoor het systeem geschikt is voor blok‑ of stadsverwarming.

Tado Slimme Radiatorknop Starterskit V3+

Deze starterskit van tado° is bedoeld voor woningen waar elke radiator apart geregeld moet worden zonder centrale thermostaat. De verpakking bevat één slimme radiatorkraan en een internetbridge. Je vervangt de bestaande knop door de slimme kraan en koppelt de bridge aan je router. Via de tado°‑app regel je de temperatuur per kamer en stel je uitgebreide programma’s in, zoals een week- of weekendprogramma. De app gebruikt geolocatie, open‑raamdetectie en weersinformatie om de verwarming automatisch aan te passen.

De set werkt met spraakbesturing via Amazon Alexa, Apple HomeKit en Google Assistant. Dankzij de internetbridge kun je extra radiatorkranen toevoegen om meer kamers aan te sturen. tado° adviseert om per radiator een slimme knop te plaatsen voor optimale werking. Volgens de fabrikant kun je tot 31 % energie besparen doordat de app de verwarming afstemt op je aanwezigheid. Batterijen zorgen voor de stroomvoorziening. Voor geavanceerde functies zoals automatische geofencing heb je een optioneel abonnement nodig, maar de basisbediening via de app blijft beschikbaar zonder extra kosten.