ID.nl logo
De technologie achter deepfake en synthetische media
© Reshift Digital
Huis

De technologie achter deepfake en synthetische media

Je eigen gezicht op een filmpersonage plakken is geestig en vrij onschuldig, een politicus iets laten zeggen wat hij of zij nooit gezegd heeft is al van een andere orde. We hebben het uiteraard over deepfakes. Hoe werkt de technologie achter synthetische media?

Een belangrijk containerbegrip waar deepfakes onder vallen is ‘synthetische media’. Dat staat voor content die niet door mensen is gemaakt, maar door computers gegenereerd. Het gaat bijvoorbeeld om foto’s of video’s die niet echt zijn, maar er wel heel echt uitzien. Maar het kan ook gaan om audio, teksten of virtuele objecten. De content wordt geproduceerd door een algoritme op basis van kunstmatige intelligentie (AI, artificial intelligence). 

Deze AI wordt gevoed en getraind door data, zoals foto’s met verschillende gezichtskenmerken, bewegende beelden van een persoon, teksten, muziek of het interieur van huizen. Hoe groter de dataset, des te beter de vaardigheden van het algoritme worden. Software heeft ten opzichte van mensen het voordeel dat het content met hoge snelheid en op oneindige schaal kan produceren.

Een algoritme kan op basis van een dataset met bijvoorbeeld foto’s van tienduizenden personen de gelaatskenmerken analyseren, zoals de positie en kenmerken van de ogen, neus en mond, wenkbrauwen, haar en bijvoorbeeld moedervlekken. Door die vanuit verschillende hoeken te analyseren ontstaat een 3D-model van het gezicht. 

Op basis daarvan, en de overeenkomsten en verschillen tussen mensen in de dataset, kan het algoritme zelf mensen ‘maken’. Wanneer beelden gecombineerd worden van echte mensen wordt dit een deepfake genoemd. Maar het kan ook op basis van random noise, oftewel pixels.

©PXimport

Face swappen

Een onderdeel dat vaak in het nieuws komt, is een zogenoemde deepfake-video of -foto. Hierbij wordt een persoon gedeeltelijk vervangen door een andere persoon – bijvoorbeeld door het gezicht te verwisselen. Het begrip ‘deepfake’ is een samenvoeging van twee Engelse woorden: ‘deep learning’ en ‘fake’. Deep learning is een onderdeel van ‘machine learning’, dat gebaseerd is op kunstmatige neurale netwerken. Het wordt gebruikt om bestaande afbeeldingen en video te combineren, en delen ervan te integreren. 

Bij veel deepfake-video’s wordt meestal alleen een klein deel van een persoon vervangen: het gezicht. Dit heet een ‘faceswap’. Dit scheelt kostbare rekenkracht en het is beduidend minder complex omdat niet al het haar, lichaam, kleding en de achtergrond hoeft te worden vervangen. In de praktijk worden vaak alleen de gelaatstrekken van een hoofd overgenomen, zoals de ogen, neus, wenkbrauwen, gezichtshaar en mond. Deze worden wel zo aangepast dat de kleur en de belichting van het gezicht overeenkomt met het origineel. 

Het resultaat ziet er vaak verrassend echt uit, zeker wanneer het personen betreft die qua bouw een beetje op elkaar lijken. Een bekend voorbeeld is een scène van Arnold Schwarzenegger in Terminator 2, waarbij het gezicht is vervangen door aartsrivaal Sylvester Stallone. Een faceswap is tegenwoordig zo eenvoudig dat iedere consumentencomputer het kan: er bestaat kant-en-klare opensource-software voor. Ook smartphones zijn krachtig genoeg en er zijn talloze apps, zoals Reface.

Hoe werkt deepfake?

Het manipuleren van bestaande beelden of een faceswap werkt door eerst het bronbeeld uitvoerig te analyseren: de positie en de bewegingen van alle onderdelen van het gezicht worden uitvoerig ontleedt, evenals het licht en de hoek van het gezicht. Alle individuele frames worden apart opgeslagen. Vervolgens gebeurt hetzelfde met het doelbeeld, waarbij de gezichten over elkaar worden gelegd. Hoe groter de dataset aan beelden is, des te beter is het eindresultaat.

Het produceren van een compleet nieuw beeld door een algoritme werkt anders. Dit gebeurt met een techniek die bekend staat als GAN (Generative Adversarial Network). Dit is een klasse van algoritmen voor ongecontroleerd leren. Het werkt door middel van een soort spelscenario waarbij twee neurale netwerken tegen elkaar strijden en samenwerken. 

Het eerste netwerk is de generator, die een beeld genereert (maar het kan ook een tekst of audiofragment zijn). Het tweede netwerk is de discriminator, die is getraind op een grote database van voorbeelden en probeert te detecteren of het beeld echt is, of gefabriceerd door de generator. Dit proces gaat net zo lang door tot het door het eerste netwerk geproduceerde beeld zo goed is, dat het aangemerkt wordt als echt. Het netwerk van de generator traint zichzelf dus als het ware omdat het telkens anticipeert op de afwijzingen van de discriminator. 

Een GAN die op foto’s is getraind, kan zelf beelden genereren die niet van echt te onderscheiden zijn. Deze foto’s of video’s zijn dus niet samengesteld uit echte beelden, zoals bij deepfake, maar volledig op basis van nieuwe pixels gegenereerd. Het gaat dan dus om mensen die in werkelijkheid niet bestaan, maar er wel levensecht uitzien. Voorbeelden zijn te zien op sites als thispersondoesnotexist.com. Voor katten, huiskamers en landschappen bestaat deze techniek ook.

Hollywood

De techniek worden steeds vaker toegepast in Hollywoodfilms. In Terminator Genisys, Captain Marvel, Tron: Legacy, The Irishman en Gemini werden hoofdrolspelers tientallen jaren jonger gemaakt. In 2016 zagen we een jonge Carrie Fisher als prinses Leia in Star Wars: Rogue One en in Episode IX figureerde zij zelfs na haar dood.

Amerikaanse filmmakers overwegen zelfs de in 1955 overleden acteur James Dean, te laten figureren in een nieuwe Vietnamfilm, omdat ze zijn persoon zo goed bij de rol vinden passen. Ook voor tv en op YouTube worden steeds vaker deepfakes gebruikt. Zo zond het Britse tv-netwerk Channel 4 beelden van Koningin Elizabeth uit waarbij ze een TikTok-dans deed. 

In Zondag met Lubach ontkrachtte Gerry Baudet uitspraken die door zijn ‘broertje’ waren gedaan. In december 2020 publiceerde YouTube-kanaal Sassy Justice, van de makers van South Park, een zogenaamd kerstverhaal van President Trump waarin twee rendieren onderling ruzie krijgen over de uitslag van de verkiezingen. De opname lijkt verrassend echt, inclusief de bewegingen, handgebaren, gelaatstrekken en de stem van Trump. 

Tenslotte ontstond onlangs veel reuring nadat De Correspondent een gemanipuleerd filmpje van Mark Rutte online zette, waarin het leek alsof de VVD-politicus ineens wel erg begaan was met het klimaat. Op de stem na zou je het zo geloven! 

Tekst: Jeroen Horlings

▼ Volgende artikel
Europese Commissie: TikTok is te verslavend
Huis

Europese Commissie: TikTok is te verslavend

De Europese Commissie claimt dat het socialmediaplatform TikTok te verslavend is, en wil dan ook dat het oneindig kunnen scrollen in de app onmogelijk wordt.

Volgens de Europese Commissie verbreekt TikTok daarmee de Digital Services Act (DSA). Naast oneindig kunnen scrollen worden ook sommige pushnotificaties en autoplay als boosdoeners gezien.

Doomscrollen

De Commissie haalt specifiek oneindig scrollen aan als een gevaarlijk onderdeel van de app. De Commissie meent dat dit gebruikers in een soort trance brengt door dwangmatig gedrag - in feite waar de populaire term 'doomscrollen' op slaat.

De Commissie heeft echter nog geen bindend oordeel uitgebracht. Zo mag ByteDance, het bedrijf achter TikTok, zichzelf eerst verantwoorden. Ook gaat de Commissie eerst advies vragen aan de Europese Raad, om specifiek te zijn een adviesgroep hierbinnen die over digitale diensten gaat. Mocht de Europese Raad het eens zijn met de Commissie, dan moet TikTok in Europa mogelijk onderdelen van het socialmediaplatform aanpassen. Gebeurt dat niet, dan kan ByteDance forse boetes ontvangen.

Social media onder het vergrootglas

Social media - waaronder TikTok - ligt de laatste tijd toch steeds vaker onder een vergrootglas. In Australië bijvoorbeeld is social media sinds enige tijd verboden voor kinderen, en Spanje kondigde eerder deze week aan soortgelijke maatregelen te nemen.

Nieuw op ID: het complete plaatje

Misschien valt het je op dat er vanaf nu ook berichten over games, films en series op onze site verschijnen. Dat is een bewuste stap. Wij geloven dat technologie niet stopt bij hardware; het gaat uiteindelijk om wat je ermee beleeft. Daarom combineren we onze expertise in tech nu met het laatste nieuws over entertainment. Dat doen we met de gezichten die mensen kennen van Power Unlimited, dé experts op het gebied van gaming en streaming. Zo helpen we je niet alleen aan de beste tv, smartphone of laptop, maar vertellen we je ook direct wat je erop moet kijken of spelen. Je vindt hier dus voortaan de ideale mix van hardware én content.

▼ Volgende artikel
Review Teufel Cinebar 22 – Zeer vol tv-geluid voor middelgrote kamers
© Teufel
Huis

Review Teufel Cinebar 22 – Zeer vol tv-geluid voor middelgrote kamers

Tegenwoordig brengt zo'n beetje elk gerespecteerd audiomerk soundbars inclusief subwoofers op de markt. Toch slaagt het Duitse Teufel om zich van de massa te onderscheiden. De bijgesloten basspeaker van de nieuwe Cinebar 22 is namelijk verrassend slank. Hierdoor kun je hem makkelijk naast een televisiemeubel of onder een loungebank kwijt. In de soundbar zelf zitten nog eens acht actieve audiodrivers. Dat belooft wat!

Fantastisch
Conclusie

De Teufel Cinebar 22 is een aanwinst voor elke kleine tot middelgrote kamer. Je krijgt deze soundbar/subwoofer-combinatie in enkele minuten aan de praat, waarna je luistert naar een vol televisiegeluid met ruimtelijke effecten. Overige pluspunten zijn de duidelijke afstandsbediening en het Nederlandstalige display. Houd wel rekening met een behoorlijke adviesprijs van zo'n zeshonderd euro.

Plus- en minpunten
  • Slanke draadloze subwoofer
  • Snelle configuratie
  • Nederlandstalig display
  • Veel ingangen
  • Simpele bediening
  • Audio-instellingen aanpassen
  • Stemmen versterken via spraakmodus
  • Uitstekende geluidskwaliteit
  • Duidelijke audio-effecten
  • Stevige bas
  • Behoorlijk prijzig
  • Maar vier antislipvoetjes bijgesloten
  • Geen HDMI-kabel inbegrepen
  • Geen hoogtekanalen voor Dolby Atmos-geluid
CategorieSpecificatie
Vermogen175 watt (soundbar), 60 watt (subwoofer)
Actieve audiodrivers2× fullrange, 3× tweeters, 2× midrange, 1× bas (woofer)
Connectiviteit2× HDMI, s/pdif (optisch), usb (alleen service), 3,5mm-audiojack, tulp, bluetooth 5.3
SurroundformatenDolby Atmos, Dolby Digital, DTS, DTS:X
Extra’sAfstandsbediening
Afmetingen100 × 7,8 × 14,7 cm (soundbar), 12 × 42 × 42× cm (subwoofer)

Teufel ontwikkelde zijn Cinebar 22 voor een brede doelgroep. Deze soundbar is namelijk een meter lang, zodat hij goed matcht met een middelgrote tot grote televisie. Je kunt de behuizing op een meubel neerzetten of hem aan de wand schroeven. Voor woonkamers met beperkte ruimte is de bijgesloten subwoofer van slechts twaalf centimeter breed ideaal. Heb je naast de televisiemeubel alsnog geen plek, dan schuif je de basspeaker gewoon onder de bank. Je kunt de subwoofer namelijk zowel staand als liggend positioneren. Denk vooraf goed na over de locatie, want je kunt de vier meegeleverde antislipvoetjes maar op één zijde plakken.

©Maikel Dijkhuizen

De inhoud van twee productdozen.

Soundbar aansluiten

De soundbar heeft een stevige kunststof behuizing met aan de rechterkant een klein dimbaar display. Hierop bekijk je onder meer de actieve bron en het volumeniveau. Verder bevindt zich bovenop een compact bedieningspaneel met touchknoppen. De subwoofer bestaat uit een MDF-klankkast. Beide componenten communiceren draadloos met elkaar. Het aansluiten van de Cinebar 22 stelt weinig voor. Verbind de twee apparaten met netstroom en koppel de soundbar via HDMI aan een televisie. Een klein kritiekpuntje is dat Teufel geen HDMI-kabel meelevert. Gezien de adviesprijs van bijna zeshonderd euro hoort zo'n snoertje er naar onze mening gewoon bij.

Je geeft met een schuifknopje aan de achterkant van de subwoofer aan hoe de basspeaker is opgesteld, namelijk vrijstaand, in een hoek of liggend. Zodra je beide apparaten eenmaal hebt ingeschakeld, kies je op het display de Nederlandse taal. In de volgende stap koppel je de subwoofer aan de soundbar door op de pairing-knop te drukken. Dat gaat erg snel, want luttele seconden later hoor je tv-geluid.

Handig is dat je achterop ook nog verschillende audiovisuele bronnen kunt aansluiten, zoals een cd-speler, gameconsole of tv-ontvanger. Gebruik hiervoor bijvoorbeeld de tweede HDMI-poort, optische ingang of analoge tulpaansluitingen. De Cinebar 22 vervult daarmee min of meer de rol van klassieke receiver. Abonnees van Spotify of een andere online muziekdienst kunnen draadloos naar albums, afspeellijsten en podcasts luisteren. Verbind hiervoor een smartphone of tablet met bluetooth.

©Maikel Dijkhuizen

Volg voor de configuratie de aanwijzingen op het Nederlandstalige display.

©Maikel Dijkhuizen

Je selecteert op de achterzijde van de subwoofer de juiste basspeaker-opstelling.

Ruimtelijk geluid

In tegenstelling tot veel andere soundbars is er geen bijbehorende app. Geen punt, want de duidelijke afstandsbediening voldoet prima. De bediening werkt kinderlijk eenvoudig. Kies TV, HDMI, OPT, AUX of bluetooth als bron en leun lekker achterover. Audiopuristen passen met aparte knopjes de niveaus voor de lage en hoge tonen aan. Verder heeft de Cinebar 22 voorgeprogrammeerde modi voor muziek, spraak en nacht. Vanuit het menu zet je uiteenlopende (geavanceerde) audio-instellingen eventueel nog verder naar je hand.

Alles leuk en aardig, maar uiteindelijk draait het natuurlijk om de geluidskwaliteit. Die is kortweg uitstekend. Het is bewonderingswaardig wat een vol geluid deze soundbar/subwoofer-combinatie kan produceren. Dit audiosysteem heeft ook nog eens veel power, want het volume kan behoorlijk luid. Dankzij twee zijwaarts gerichte audiodrivers schieten surroundeffecten van links naar rechts en vice versa. Via een aparte toets op de afstandsbediening kun je deze effecten nog wat versterken.

De subwoofer doet zijn werk naar behoren, want bombastische scènes hoor (en voel) je heerlijk nadreunen. Teufel pronkt op de productdoos weliswaar met ondersteuning voor Dolby Atmos, maar daar merk je in de praktijk eigenlijk niks van. Er ontbreken simpelweg hoogtekanalen om zo'n audiospoor goed te verwerken. Desalniettemin is de Cinebar 22 voor liefhebbers van films, series en games een absolute aanrader.

©Maikel Dijkhuizen

Films en series met de nodige actiescènes komen dankzij de Cinebar 22 zeer goed tot hun recht.

Teufel Cinebar 22 kopen?

De Teufel Cinebar 22 is een aanwinst voor elke kleine tot middelgrote kamer. Je krijgt deze soundbar/subwoofer-combinatie in enkele minuten aan de praat, waarna je luistert naar een vol televisiegeluid met ruimtelijke effecten. Overige pluspunten zijn de duidelijke afstandsbediening en het Nederlandstalige display. Houd wel rekening met een behoorlijke adviesprijs van zo'n zeshonderd euro.

Meer van Teufel ⤵