ID.nl logo
De technologie achter deepfake en synthetische media
© Reshift Digital
Huis

De technologie achter deepfake en synthetische media

Je eigen gezicht op een filmpersonage plakken is geestig en vrij onschuldig, een politicus iets laten zeggen wat hij of zij nooit gezegd heeft is al van een andere orde. We hebben het uiteraard over deepfakes. Hoe werkt de technologie achter synthetische media?

Een belangrijk containerbegrip waar deepfakes onder vallen is ‘synthetische media’. Dat staat voor content die niet door mensen is gemaakt, maar door computers gegenereerd. Het gaat bijvoorbeeld om foto’s of video’s die niet echt zijn, maar er wel heel echt uitzien. Maar het kan ook gaan om audio, teksten of virtuele objecten. De content wordt geproduceerd door een algoritme op basis van kunstmatige intelligentie (AI, artificial intelligence). 

Deze AI wordt gevoed en getraind door data, zoals foto’s met verschillende gezichtskenmerken, bewegende beelden van een persoon, teksten, muziek of het interieur van huizen. Hoe groter de dataset, des te beter de vaardigheden van het algoritme worden. Software heeft ten opzichte van mensen het voordeel dat het content met hoge snelheid en op oneindige schaal kan produceren.

Een algoritme kan op basis van een dataset met bijvoorbeeld foto’s van tienduizenden personen de gelaatskenmerken analyseren, zoals de positie en kenmerken van de ogen, neus en mond, wenkbrauwen, haar en bijvoorbeeld moedervlekken. Door die vanuit verschillende hoeken te analyseren ontstaat een 3D-model van het gezicht. 

Op basis daarvan, en de overeenkomsten en verschillen tussen mensen in de dataset, kan het algoritme zelf mensen ‘maken’. Wanneer beelden gecombineerd worden van echte mensen wordt dit een deepfake genoemd. Maar het kan ook op basis van random noise, oftewel pixels.

©PXimport

Face swappen

Een onderdeel dat vaak in het nieuws komt, is een zogenoemde deepfake-video of -foto. Hierbij wordt een persoon gedeeltelijk vervangen door een andere persoon – bijvoorbeeld door het gezicht te verwisselen. Het begrip ‘deepfake’ is een samenvoeging van twee Engelse woorden: ‘deep learning’ en ‘fake’. Deep learning is een onderdeel van ‘machine learning’, dat gebaseerd is op kunstmatige neurale netwerken. Het wordt gebruikt om bestaande afbeeldingen en video te combineren, en delen ervan te integreren. 

Bij veel deepfake-video’s wordt meestal alleen een klein deel van een persoon vervangen: het gezicht. Dit heet een ‘faceswap’. Dit scheelt kostbare rekenkracht en het is beduidend minder complex omdat niet al het haar, lichaam, kleding en de achtergrond hoeft te worden vervangen. In de praktijk worden vaak alleen de gelaatstrekken van een hoofd overgenomen, zoals de ogen, neus, wenkbrauwen, gezichtshaar en mond. Deze worden wel zo aangepast dat de kleur en de belichting van het gezicht overeenkomt met het origineel. 

Het resultaat ziet er vaak verrassend echt uit, zeker wanneer het personen betreft die qua bouw een beetje op elkaar lijken. Een bekend voorbeeld is een scène van Arnold Schwarzenegger in Terminator 2, waarbij het gezicht is vervangen door aartsrivaal Sylvester Stallone. Een faceswap is tegenwoordig zo eenvoudig dat iedere consumentencomputer het kan: er bestaat kant-en-klare opensource-software voor. Ook smartphones zijn krachtig genoeg en er zijn talloze apps, zoals Reface.

Hoe werkt deepfake?

Het manipuleren van bestaande beelden of een faceswap werkt door eerst het bronbeeld uitvoerig te analyseren: de positie en de bewegingen van alle onderdelen van het gezicht worden uitvoerig ontleedt, evenals het licht en de hoek van het gezicht. Alle individuele frames worden apart opgeslagen. Vervolgens gebeurt hetzelfde met het doelbeeld, waarbij de gezichten over elkaar worden gelegd. Hoe groter de dataset aan beelden is, des te beter is het eindresultaat.

Het produceren van een compleet nieuw beeld door een algoritme werkt anders. Dit gebeurt met een techniek die bekend staat als GAN (Generative Adversarial Network). Dit is een klasse van algoritmen voor ongecontroleerd leren. Het werkt door middel van een soort spelscenario waarbij twee neurale netwerken tegen elkaar strijden en samenwerken. 

Het eerste netwerk is de generator, die een beeld genereert (maar het kan ook een tekst of audiofragment zijn). Het tweede netwerk is de discriminator, die is getraind op een grote database van voorbeelden en probeert te detecteren of het beeld echt is, of gefabriceerd door de generator. Dit proces gaat net zo lang door tot het door het eerste netwerk geproduceerde beeld zo goed is, dat het aangemerkt wordt als echt. Het netwerk van de generator traint zichzelf dus als het ware omdat het telkens anticipeert op de afwijzingen van de discriminator. 

Een GAN die op foto’s is getraind, kan zelf beelden genereren die niet van echt te onderscheiden zijn. Deze foto’s of video’s zijn dus niet samengesteld uit echte beelden, zoals bij deepfake, maar volledig op basis van nieuwe pixels gegenereerd. Het gaat dan dus om mensen die in werkelijkheid niet bestaan, maar er wel levensecht uitzien. Voorbeelden zijn te zien op sites als thispersondoesnotexist.com. Voor katten, huiskamers en landschappen bestaat deze techniek ook.

Hollywood

De techniek worden steeds vaker toegepast in Hollywoodfilms. In Terminator Genisys, Captain Marvel, Tron: Legacy, The Irishman en Gemini werden hoofdrolspelers tientallen jaren jonger gemaakt. In 2016 zagen we een jonge Carrie Fisher als prinses Leia in Star Wars: Rogue One en in Episode IX figureerde zij zelfs na haar dood.

Amerikaanse filmmakers overwegen zelfs de in 1955 overleden acteur James Dean, te laten figureren in een nieuwe Vietnamfilm, omdat ze zijn persoon zo goed bij de rol vinden passen. Ook voor tv en op YouTube worden steeds vaker deepfakes gebruikt. Zo zond het Britse tv-netwerk Channel 4 beelden van Koningin Elizabeth uit waarbij ze een TikTok-dans deed. 

In Zondag met Lubach ontkrachtte Gerry Baudet uitspraken die door zijn ‘broertje’ waren gedaan. In december 2020 publiceerde YouTube-kanaal Sassy Justice, van de makers van South Park, een zogenaamd kerstverhaal van President Trump waarin twee rendieren onderling ruzie krijgen over de uitslag van de verkiezingen. De opname lijkt verrassend echt, inclusief de bewegingen, handgebaren, gelaatstrekken en de stem van Trump. 

Tenslotte ontstond onlangs veel reuring nadat De Correspondent een gemanipuleerd filmpje van Mark Rutte online zette, waarin het leek alsof de VVD-politicus ineens wel erg begaan was met het klimaat. Op de stem na zou je het zo geloven! 

Tekst: Jeroen Horlings

▼ Volgende artikel
Hoor het verschil met de nieuwe Fresh 'n Rebel Clam Ace 2
© Fresh ’n Rebel
Huis

Hoor het verschil met de nieuwe Fresh 'n Rebel Clam Ace 2

Fresh 'n Rebel introduceert de Clam Ace 2, een draadloze over-ear koptelefoon die technologie en comfort slim samenbrengt. Hij klinkt niet alleen goed, maar past zich ook aan jou aan. Met gepersonaliseerd geluid, intelligente noise cancelling en een batterij die het moeiteloos meerdere dagen volhoudt is dit een koptelefoon die meebeweegt met jouw dag.

Partnerbijdrage - in samenwerking met Fresh 'n Rebel

Stilte wanneer jij dat wilt

Of je nu werkt, reist of ontspant: de Clam Ace 2 helpt je de juiste focus te vinden. Dankzij Adaptive Hybrid Active Noise Cancelling bepaal je zelf hoeveel van de wereld je hoort. De technologie filtert storend geluid weg, en jij bepaalt zelf hoeveel daarvan je wilt dempen. In de My Sound App stel je het niveau eenvoudig bij, afhankelijk van waar je bent – op kantoor, in de trein of thuis op de bank. Zo houd je zelf de controle over wat je wel en niet hoort.

Met de Ambient Sound Mode blijf je alert op wat er om je heen gebeurt. Het omgevingsgeluid wordt subtiel versterkt, zodat je bijvoorbeeld het verkeer hoort of iemand kort kunt aanspreken. De Quick Access-functie maakt het extra handig: houd kort de linkeroorschelp ingedrukt en je schakelt direct over naar hear-through, zonder instellingen te veranderen.

©Fresh ’n Rebel

Geluid dat zich aan jou aanpast

Iedereen hoort anders, en dat merk je pas echt met Personal Sound by Audiodo. Deze technologie, geïntegreerd in de My Sound App, meet met een gehoortest hoe goed jij verschillende frequenties waarneemt. Op basis daarvan wordt een geluidsprofiel aangemaakt dat de muziek afstemt op jouw gehoor. De lage tonen worden iets krachtiger waar nodig, de hoge juist helderder. Zo klinkt elke noot precies goed!

De app geeft bovendien volledige controle over je instellingen. Je kunt de equalizer aanpassen, knoppen een eigen functie geven, het volume begrenzen of batterijbesparing activeren. Alles in één overzichtelijke interface.

©Fresh ’n Rebel

Schakelen zonder onderbreking

De Clam Ace 2 ondersteunt Multipoint Bluetooth, waarmee je twee apparaten tegelijk kunt verbinden. Zo kun je moeiteloos wisselen tussen laptop en smartphone. Een inkomend telefoontje aannemen terwijl je muziek luistert of een video bekijkt? De koptelefoon schakelt automatisch over.

Tijdens gesprekken zorgen twee Environmental Noise Cancelling-microfoons dat je stem helder blijft, zelfs in een rumoerige omgeving. En met Wind Noise Cancelling blijft ook buiten het geluid helder, zelfs als het waait. Dankzij on-ear detectie pauzeert de muziek automatisch als je de koptelefoon afzet, en gaat hij verder zodra je hem weer opzet. Met het volumewieltje en de klikbare knop op de oorschelp bedien je muziek, noise cancelling en spraakassistent zonder je telefoon erbij te hoeven pakken.

©Fresh ’n Rebel

Dagenlang luisteren zonder opladen

Een van de grootste pluspunten van de Clam Ace 2 is de speeltijd. Met meer dan 100 uur luisteren op één lading hoef je nauwelijks nog aan opladen te denken. Zelfs met actieve noise cancelling ingeschakeld haal je nog 60 uur speeltijd, en met tien minuten snelladen heb je alweer acht uur muziek. Handig als je vaak onderweg bent.

Het draagcomfort is net zo goed doordacht. De zachte oorkussens vormen zich naar je oren, terwijl de flexibele hoofdband ook bij lange luistersessies prettig blijft zitten. Na gebruik klap je de Clam Ace 2 eenvoudig in en berg je hem op in het meegeleverde tasje.

Kleur en karakter

Fresh 'n Rebel staat bekend om zijn frisse kleuren, en dat zie je terug in de Clam Ace 2. Van subtiel Ice Grey en Storm Grey tot opvallender Dreamy Lilac, Dried Green, True Blue en Pastel Pink – er is altijd een uitvoering die bij je past. Welke kleur je kiest, maakt voor de prijs geen verschil: die is voor elke tint 99,99 euro.

©Fresh ’n Rebel

In het kort: dit zijn de belangrijkste features van de Clam Ace 2

  • My Sound App + Audiodo Personal Sound

  • +100 uur speelduur

  • Adaptive Hybrid Active Noise Cancelling

  • Multipoint Bluetooth (verbind 2 apparaten tegelijkertijd)

  • Ambient Sound Mode met Quick Access

Dit maakt de Clam Ace 2 bijzonder

De Clam Ace 2 past zich aan jou aan. Hij filtert storend geluid weg, stemt het geluid af op jouw gehoor met Personal Sound by Audiodo en houdt het moeiteloos dagenlang vol. Een slimme koptelefoon die meedenkt, comfortabel zit en altijd klaarstaat. Zoals het hoort. Zoals jíj het hoort!

▼ Volgende artikel
Waar voor je geld: 5 platenspelers met klep voor minder dan 275 euro
© © Przemek Klos
Huis

Waar voor je geld: 5 platenspelers met klep voor minder dan 275 euro

In de rubriek Waar voor je geld gaan we op zoek naar bijzondere producten voor een mooie prijs. Vinyl is de laatste jaren weer helemaal terug, maar die kun je natuurlijk alleen afspelen op een platenspeler. Wij vonden vijf interessante modellen voorzien van een stofklep, voor minder dan 275 euro.

Platenspelers worden steeds vaker aangeboden, en ook op Kieskeurig.nl zien we ze meer en meer in de verschillende aangesloten webshops. Wij vonden vijf mooie exemplaren voor je die ook nog eens zijn voorzien van een klep om het mechanisme en je platen te beschermen tegen stof.

Sony PS-LX310BT

De Sony PS-LX310BT is een volautomatische platenspeler. Dit betekent dat je met een druk op de knop de arm naar de plaat kunt bewegen om het afspelen te starten. Aan het einde van de plaat keert de arm automatisch terug naar zijn beginpositie. De speler is aangedreven met een snaar. Een kenmerkende functie is de ingebouwde Bluetooth-zender, waarmee je het geluid van je vinyl draadloos kunt doorsturen naar een Bluetooth-speaker, -soundbar of -hoofdtelefoon.

Mocht je de voorkeur geven aan een bekabelde opstelling, dan kan dat ook via de RCA-uitgang. De platenspeler heeft een ingebouwde phono-voorversterker. Dit maakt het mogelijk om de speler direct aan te sluiten op een versterker of actieve luidsprekers die geen speciale phono-ingang hebben. De aluminium draaischijf is ontworpen om trillingen te minimaliseren en een stabiele rotatie te waarborgen. De meegeleverde stofkap beschermt de plaat en de naald tegen stof.

Lenco L-3808

Bij de Lenco L-3808 heb je te maken met een direct aangedreven platenspeler, wat inhoudt dat de motor de draaischijf direct aandrijft zonder tussenkomst van een snaar. Dit zorgt voor een snelle start- en stoptijd. Een bijzondere eigenschap is de USB-aansluiting. Hiermee kun je de platenspeler verbinden met een computer om je vinylplaten te digitaliseren.

Verder beschikt dit model over een ingebouwde phono-voorversterker, die je naar wens kunt in- of uitschakelen. Hierdoor kun je hem aansluiten op een breed scala aan audiosystemen, zowel met als zonder specifieke phono-ingang. De arm is S-vormig en voorzien van een afneembare headshell, wat het wisselen van het element vereenvoudigt. De aanwezigheid van pitch control geeft je de mogelijkheid om de afspeelsnelheid handmatig fijn te stellen. Een doorzichtige stofkap houdt stof op afstand.

Audio-Technica AT-LP60XBT

De Audio-Technica AT-LP60XBT functioneert als een volautomatische, snaaraangedreven platenspeler. Het bedieningsgemak staat hierbij centraal: met knoppen voor start en stop kun je het afspeelproces eenvoudig beheren. De arm plaatst zichzelf op de groef en keert na afloop van de plaat vanzelf weer terug. Net als de Sony beschikt dit model over een geïntegreerde Bluetooth-functionaliteit. Dit maakt het mogelijk om draadloos verbinding te maken met maximaal acht verschillende Bluetooth-apparaten, zoals luidsprekers of een koptelefoon.

Voor een standaard opstelling is er een RCA-uitgang beschikbaar. De ingebouwde phono-voorversterker is uitschakelbaar, waardoor je de keuze hebt tussen aansluiting op een phono- of een lijningang van je versterker. De draaischijf is vervaardigd uit gegoten aluminium. Het meegeleverde element is een Dual Magnet-cartridge met een vervangbare naald. De stofkap is scharnierend en afneembaar.

Denon DP-29F

Dit model, de Denon DP-29F, is een snaaraangedreven en volautomatische platenspeler. Je bedient de speler met de start- en stopknoppen, waarna de toonarm automatisch naar het begin van de plaat beweegt en aan het einde weer terugkeert. Een belangrijk kenmerk is de ingebouwde, inschakelbare RIAA phono-equalizer. Dankzij deze voorversterker kun je de DP-29F direct aansluiten op een versterker of receiver via een standaard AUX- of lijningang, zonder dat een aparte phono-ingang nodig is.

De draaischijf is gemaakt van gegoten aluminium en de platenspeler wordt geleverd met een MM-element (Moving Magnet), zodat je na het aansluiten direct kunt beginnen met luisteren. Het geheel wordt beschermd door een stofkap die het mechanisme en je platen vrijhoudt van stof en vuil.

Lenco LBT-188

Ook deze Lencois uitgerust met een snaaraandrijving. Een opvallende functie van dit model is de ingebouwde Bluetooth-zender. Hiermee heb je de mogelijkheid om het geluid van je vinylplaten draadloos te streamen naar een compatibele Bluetooth-luidspreker of -hoofdtelefoon. Daarnaast is de platenspeler voorzien van een USB-aansluiting, waarmee je hem aan een computer kunt koppelen. Dit stelt je in staat om je platencollectie te digitaliseren.

De Lenco LBT-188 beschikt over een geïntegreerde phono-voorversterker, wat betekent dat je hem direct kunt aansluiten op de aux-ingang van vrijwel elke versterker of set actieve speakers. De toonarm is voorzien van een instelbaar contragewicht voor een nauwkeurige naalddruk. Het geheel wordt geleverd met een afneembare, doorzichtige stofkap die de draaitafel en de plaat beschermt.