ID.nl logo
De technologie achter deepfake en synthetische media
© Reshift Digital
Huis

De technologie achter deepfake en synthetische media

Je eigen gezicht op een filmpersonage plakken is geestig en vrij onschuldig, een politicus iets laten zeggen wat hij of zij nooit gezegd heeft is al van een andere orde. We hebben het uiteraard over deepfakes. Hoe werkt de technologie achter synthetische media?

Een belangrijk containerbegrip waar deepfakes onder vallen is ‘synthetische media’. Dat staat voor content die niet door mensen is gemaakt, maar door computers gegenereerd. Het gaat bijvoorbeeld om foto’s of video’s die niet echt zijn, maar er wel heel echt uitzien. Maar het kan ook gaan om audio, teksten of virtuele objecten. De content wordt geproduceerd door een algoritme op basis van kunstmatige intelligentie (AI, artificial intelligence). 

Deze AI wordt gevoed en getraind door data, zoals foto’s met verschillende gezichtskenmerken, bewegende beelden van een persoon, teksten, muziek of het interieur van huizen. Hoe groter de dataset, des te beter de vaardigheden van het algoritme worden. Software heeft ten opzichte van mensen het voordeel dat het content met hoge snelheid en op oneindige schaal kan produceren.

Een algoritme kan op basis van een dataset met bijvoorbeeld foto’s van tienduizenden personen de gelaatskenmerken analyseren, zoals de positie en kenmerken van de ogen, neus en mond, wenkbrauwen, haar en bijvoorbeeld moedervlekken. Door die vanuit verschillende hoeken te analyseren ontstaat een 3D-model van het gezicht. 

Op basis daarvan, en de overeenkomsten en verschillen tussen mensen in de dataset, kan het algoritme zelf mensen ‘maken’. Wanneer beelden gecombineerd worden van echte mensen wordt dit een deepfake genoemd. Maar het kan ook op basis van random noise, oftewel pixels.

©PXimport

Face swappen

Een onderdeel dat vaak in het nieuws komt, is een zogenoemde deepfake-video of -foto. Hierbij wordt een persoon gedeeltelijk vervangen door een andere persoon – bijvoorbeeld door het gezicht te verwisselen. Het begrip ‘deepfake’ is een samenvoeging van twee Engelse woorden: ‘deep learning’ en ‘fake’. Deep learning is een onderdeel van ‘machine learning’, dat gebaseerd is op kunstmatige neurale netwerken. Het wordt gebruikt om bestaande afbeeldingen en video te combineren, en delen ervan te integreren. 

Bij veel deepfake-video’s wordt meestal alleen een klein deel van een persoon vervangen: het gezicht. Dit heet een ‘faceswap’. Dit scheelt kostbare rekenkracht en het is beduidend minder complex omdat niet al het haar, lichaam, kleding en de achtergrond hoeft te worden vervangen. In de praktijk worden vaak alleen de gelaatstrekken van een hoofd overgenomen, zoals de ogen, neus, wenkbrauwen, gezichtshaar en mond. Deze worden wel zo aangepast dat de kleur en de belichting van het gezicht overeenkomt met het origineel. 

Het resultaat ziet er vaak verrassend echt uit, zeker wanneer het personen betreft die qua bouw een beetje op elkaar lijken. Een bekend voorbeeld is een scène van Arnold Schwarzenegger in Terminator 2, waarbij het gezicht is vervangen door aartsrivaal Sylvester Stallone. Een faceswap is tegenwoordig zo eenvoudig dat iedere consumentencomputer het kan: er bestaat kant-en-klare opensource-software voor. Ook smartphones zijn krachtig genoeg en er zijn talloze apps, zoals Reface.

Hoe werkt deepfake?

Het manipuleren van bestaande beelden of een faceswap werkt door eerst het bronbeeld uitvoerig te analyseren: de positie en de bewegingen van alle onderdelen van het gezicht worden uitvoerig ontleedt, evenals het licht en de hoek van het gezicht. Alle individuele frames worden apart opgeslagen. Vervolgens gebeurt hetzelfde met het doelbeeld, waarbij de gezichten over elkaar worden gelegd. Hoe groter de dataset aan beelden is, des te beter is het eindresultaat.

Het produceren van een compleet nieuw beeld door een algoritme werkt anders. Dit gebeurt met een techniek die bekend staat als GAN (Generative Adversarial Network). Dit is een klasse van algoritmen voor ongecontroleerd leren. Het werkt door middel van een soort spelscenario waarbij twee neurale netwerken tegen elkaar strijden en samenwerken. 

Het eerste netwerk is de generator, die een beeld genereert (maar het kan ook een tekst of audiofragment zijn). Het tweede netwerk is de discriminator, die is getraind op een grote database van voorbeelden en probeert te detecteren of het beeld echt is, of gefabriceerd door de generator. Dit proces gaat net zo lang door tot het door het eerste netwerk geproduceerde beeld zo goed is, dat het aangemerkt wordt als echt. Het netwerk van de generator traint zichzelf dus als het ware omdat het telkens anticipeert op de afwijzingen van de discriminator. 

Een GAN die op foto’s is getraind, kan zelf beelden genereren die niet van echt te onderscheiden zijn. Deze foto’s of video’s zijn dus niet samengesteld uit echte beelden, zoals bij deepfake, maar volledig op basis van nieuwe pixels gegenereerd. Het gaat dan dus om mensen die in werkelijkheid niet bestaan, maar er wel levensecht uitzien. Voorbeelden zijn te zien op sites als thispersondoesnotexist.com. Voor katten, huiskamers en landschappen bestaat deze techniek ook.

Hollywood

De techniek worden steeds vaker toegepast in Hollywoodfilms. In Terminator Genisys, Captain Marvel, Tron: Legacy, The Irishman en Gemini werden hoofdrolspelers tientallen jaren jonger gemaakt. In 2016 zagen we een jonge Carrie Fisher als prinses Leia in Star Wars: Rogue One en in Episode IX figureerde zij zelfs na haar dood.

Amerikaanse filmmakers overwegen zelfs de in 1955 overleden acteur James Dean, te laten figureren in een nieuwe Vietnamfilm, omdat ze zijn persoon zo goed bij de rol vinden passen. Ook voor tv en op YouTube worden steeds vaker deepfakes gebruikt. Zo zond het Britse tv-netwerk Channel 4 beelden van Koningin Elizabeth uit waarbij ze een TikTok-dans deed. 

In Zondag met Lubach ontkrachtte Gerry Baudet uitspraken die door zijn ‘broertje’ waren gedaan. In december 2020 publiceerde YouTube-kanaal Sassy Justice, van de makers van South Park, een zogenaamd kerstverhaal van President Trump waarin twee rendieren onderling ruzie krijgen over de uitslag van de verkiezingen. De opname lijkt verrassend echt, inclusief de bewegingen, handgebaren, gelaatstrekken en de stem van Trump. 

Tenslotte ontstond onlangs veel reuring nadat De Correspondent een gemanipuleerd filmpje van Mark Rutte online zette, waarin het leek alsof de VVD-politicus ineens wel erg begaan was met het klimaat. Op de stem na zou je het zo geloven! 

Tekst: Jeroen Horlings

▼ Volgende artikel
Nieuwe inductiekookplaten van Pelgrim houden je kookstand vast, ook als je de pan verplaatst
© Pelgrim
Huis

Nieuwe inductiekookplaten van Pelgrim houden je kookstand vast, ook als je de pan verplaatst

Pelgrim brengt drie nieuwe inductiekookplaten uit die automatisch herkennen waar een pan staat en instellingen meenemen wanneer je die verplaatst. Bovendien gebruikt de IK4-serie een eigen inductietechniek die stiller en gelijkmatiger werkt dan eerdere modellen.

De kookplaten in de IK4-serie hebben een aparte slidebediening per zone, waarmee je de temperatuur in één beweging instelt. Door pandetectie wordt een pan direct herkend en schakelt de juiste zone in. Verplaats je de pan, dan neemt de kookplaat de ingestelde stand automatisch over op de nieuwe positie. Speciale programma's zoals de Smelt-, Warmhoud- of Aankook-functie (een opwarmfunctie waarmee je iets snel aan de kook kunt brengen)  helpen bij veelvoorkomende bereidingen. De in eigen huis ontwikkelde techniek levert een constant vermogen, waardoor de temperatuur stabiel blijft en het typische aan-uitpendelen uitblijft. Daardoor kun je veel preciezer koken.

Pandetectie uitgelegd

Pandetectie herkent automatisch wanneer je een pan op de kookplaat zet en activeert direct de juiste zone. Bij de IK4-serie wordt een ingestelde kookstand meegenomen wanneer je de pan naar een andere plek verplaatst. Je hoeft daardoor geen instellingen opnieuw te kiezen en kunt tijdens het koken sneller een pan ergens anders neerzetten.

©Pelgrim

De serie is uitgevoerd in kras- en stootvast keramisch glas met een facetrand. De kookzones zijn subtiel gemarkeerd en flexzones bieden ruimte voor pannen van verschillende formaten. Via de ConnectLife-app kun je instellingen aanpassen, timers instellen en recepten raadplegen. Ook onderhoudstips en updates zijn beschikbaar in de app.

Het 60-cm-model IK4064F biedt vier zones, waaronder een grote zone van 23 centimeter, plus boostfuncties, timers en een pauzestand. De 70 centimeter brede IK4072F heeft vier flexibele zones die je kunt combineren tot een groter kookoppervlak. De IK4083F (80 cm) heeft twee ruime flexzones en twee ronde zones voor wie veel plaats nodig heeft. Alle drie hebben per zone een sliderbediening, pandetectie en dezelfde automatische programma’s. De modellen passen in een standaard nismaat.

Beschikbaarheid

De Pelgrim IK4064F (EAN 8715393398178; adviesprijs 829 euro), IK4072F ((EAN 8715393398185; adviesprijs 899 euro) en IK4083F (EAN 8715393398192; adviesprijs 999 euro) zijn per direct verkrijgbaar bij de keukenspeciaalzaak.

©Pelgrim

▼ Volgende artikel
Review TCL Q65H – Betaalbare soundbar met krachtig tv-geluid
© Maikel Dijkhuizen
Huis

Review TCL Q65H – Betaalbare soundbar met krachtig tv-geluid

TCL staat vooral bekend om zijn betaalbare televisies, maar het Chinese merk brengt ook prijsvriendelijke soundbars op de markt. Zo heeft de recent verschenen Q65H interessante specificaties. Naast een forse soundbar met ondersteuning voor Dolby Atmos is er ook een draadloze subwoofer bijgesloten. Hoe bevalt dit nieuwe audiosysteem in de praktijk?

Fantastisch
Conclusie

In een kleine tot middelgrote woonkamer komt de TCL Q65H goed uit de verf. Dankzij meerdere zorgvuldig gepositioneerde audiodrivers, een krachtige subwoofer en een riant piekvermogen creëer je met dit audiosysteem en volwaardige thuisbioscoop dat luid kan spelen. Heb je geen ruimte of budget om een home-cinemaset met losse luidsprekers op te tuigen, dan is deze vriendelijk geprijsde soundbar/subwoofer-combinatie een uitstekend alternatief.

Plus- en minpunten
  • Betaalbaar
  • Stijlvol vormgegeven
  • Ophangsysteem inbegrepen
  • Veel aansluitopties
  • Audiokalibratie via app
  • Ruimtelijk geluid
  • Luide bas
  • Ondersteuning Dolby Atmos en DTS:X
  • Stemmen versterken
  • Geen écht surroundgeluid
  • Matig stereobeeld bij muziek

Anders dan zijn relatief bescheiden prijskaartje van amper 300 euro wellicht doet vermoeden, is de TCL Q65H stijlvol vormgegeven. De soundbar van 1,05 meter heeft een nette afwerking van matzwart kunststof en geborsteld aluminium. De voorkant en beide zijkanten zijn voorzien van speakerstof. Het geheel oogt erg chic.

Dankzij een geringe hoogte van 6,8 centimeter plaats je deze langwerpige speaker moeiteloos voor de meeste televisies. De behuizing zal het beeld niet zo gauw blokkeren. Liever ophangen? Gebruik in dat geval de twee bijgesloten muurbeugels. Het formaat van de subwoofer is met 22 × 36,9 × 27,5 centimeter behoorlijk fors. Reserveer hiervoor een plekje op de vloer.

©Maikel Dijkhuizen

TCL levert onder meer een afstandsbediening, HDMI-kabel en wandmontageset mee.

Soundbar aansluiten

Je verbindt de Q65H zowel via HDMI-eARC als via de optische ingang met een televisie. Daarnaast telt de achterzijde nog een tweede HDMI-poort, zodat je bijvoorbeeld een tv-decoder, blu-ray-speler of gameconsole kunt aansluiten. Verder koppel je via usb eventueel een externe schijf of usb-stick met audiobestanden. Voor soundbarbegrippen heeft dit model veel aansluitopties.

Nadat de soundbar en subwoofer zijn aangesloten, koppel je ze draadloos aan elkaar. Dat gaat met behulp van de pairknop erg vlot. Op een klein display achter het speakerdoek verschijnt de term 'Sub connected'. Eenmaal aangesloten kies je op de sobere afstandsbediening de gewenste bron.

Verder loont het de moeite om direct na het aansluiten de TCL Home-app te installeren. Via de microfoon van de smartphone stemt de soundbar zijn geluid af op diverse akoestische eigenschappen van de luisterruimte. Het resultaat is een betere audioweergave. De kalibratie van deze zogeheten AI Sonic-functie duurt enkele minuten. Je gebruikt de app ook om nieuwe software-updates te installeren en equalizerinstellingen te wijzigen.

©Maikel Dijkhuizen

De achterzijde heeft diverse aansluitingen om een televisie en overige bronnen aan te sluiten.

©Maikel Dijkhuizen

Installeer voor extra opties de TCL Home-app op een smartphone.

Films, series en muziek

TCL vermeldt een totaal piekvermogen van maar liefst 580 watt, waarvan er 150 watt is gereserveerd voor de subwoofer. Deze belofte is niet uit de lucht gegrepen, want de soundbar en basspeaker produceren samen een nogal vol geluid. Bij recente Netflix-streams vliegen de geluidseffecten je om de oren. De fabrikant heeft de actieve audiodrivers in de behuizing naar voren én zijwaarts gericht. Zeker in de beschikbare film- en gamemodus wekt deze opstelling enigszins de illusie van surroundgeluid, al klinkt het gebruik van échte surroundspeakers nog altijd een stuk beter. Desalniettemin is het ruimtelijke geluid een knappe prestatie. Mooi meegenomen is dat de Q65H een Dolby Atmos- en DTS:X-audiospoor kan verwerken.

Tijdens bombastische actiescènes laat de subwoofer zich duidelijk horen. Je kiest met de afstandsbediening tussen drie basniveaus, maar bij de luidste stand kunnen de buren waarschijnlijk meegenieten. Sowieso kan dit audiosysteem erg luid spelen. In combinatie met een ruimtelijk en helder geluid beleef je films en series voortaan intenser. Kun je bepaalde personages moeilijk verstaan, dan druk je gewoon op de Voice-knop van de afstandsbediening. De soundbar versterkt vervolgens menselijke stemmen.

Je kunt de soundbar ook gebruiken om muziek te luisteren. Via de ingebakken bluetooth5.3-module koppel je rechtstreeks een smartphone of tablet. Stream vervolgens een afspeellijst van Spotify, Apple Music of een andere muziekdienst. Hoewel de liedjes best redelijk klinken, haalt de geluidskwaliteit het niet bij een versterker of receiver met losse speakers. Logisch, want de audiodrivers zitten in de langwerpige luidspreker te dicht op elkaar om een duidelijk stereobeeld te realiseren. Voor een achtergrondmuziekje voldoet het prima.

©Maikel Dijkhuizen

Voor liefhebbers van films, series en tv-programma's biedt deze soundbar/subwoofer-combinatie veel meerwaarde.

TCL Q65H kopen?

In een kleine tot middelgrote woonkamer komt de TCL Q65H goed uit de verf. Dankzij meerdere zorgvuldig gepositioneerde audiodrivers, een krachtige subwoofer en een riant piekvermogen creëer je met dit audiosysteem en volwaardige thuisbioscoop dat luid kan spelen. Heb je geen ruimte of budget om een home-cinemaset met losse luidsprekers op te tuigen, dan is deze vriendelijk geprijsde soundbar/subwoofer-combinatie een uitstekend alternatief.