Reddit, Twitter en zelfs Pornhub proberen het fenomeen al aan banden te leggen, maar de opmars van neppe AI-porno, ofwel 'deep fake', lijkt niet te stoppen. En dat levert problemen op.

'Deepfake AI-porno' klinkt als een mix van fintech-hype, futurologie, en een beetje viezigheid, maar het proces is in korte tijd uitgegroeid tot een groot probleem voor sociale media, beroemdheden en juristen.

De term staat voor het gebruiken van foto's van gezichten in andere beelden - in dit geval de gezichten van beroemdheden die 'gephotoshopt' worden in bestaande pornovideo's.

Beroemdheden als gewilde doelwitten

Beroemdheden zijn al jaren een gewild doelwit van perverselingen. 'The Fappening' staat nog vers in het geheugen, toen de iCloud-accounts van tientallen vrouwelijke entertainers werden gehackt en duizenden naaktfoto's over het web werden verspreid. De dader werd later opgepakt en veroordeeld voor 18 maanden, maar daarmee is de interesse in gewone actrices en zangeressen in seksuele posities en situaties niet minder geworden.

Dat kan sinds kort met deep fake-AI-porno, waarmee 'gewone' gezichten in bestaande porno-video's worden geplakt.

Deep fakes

De term 'deep fake' om de porno te beschrijven lijkt van een Reddit-gebruiker genaamd DeepFakeApp te komen. Hij ontwikkelde in december een experimenteel desktopprogramma (vernoemd naar zichzelf) om dergelijke fake video's en gifjes te maken - voornamelijk pornografisch materiaal met beroemdheden. Hij zette de applicatie online en begon een community op Reddit, die al snel tienduizenden volgers kreeg.

Machine learning

Het programma maakt gebruik van open source machine learning-algoritmes zoals Googles TensorFlow. Een gebruiker hoeft het maar te downloaden en er een batch foto's aan toe te voegen om zelf al een video te maken.

Om meer te leren over machine learning lees je ook ons uitgebreide achtergrondartikel.

Verboden op sociale media

Het gemak waarmee geruikers met deep fake-algoritmesvideo's kunnen maken zorgt voor problemen bij sociale media zoals Reddit of Twitter. Die waren er dan ook snel bij om hun regels aan te passen en nagemaakte content te blokkeren. Reddit en Twitter zijn, in tegenstelling tot bijvoorbeeld Facebook of Instagram, normaal gesproken erg tolerant wat porno betreft. Dat deep fake-video's dan ook zo snel verboden worden is veelzeggend.

Inmiddels is de subreddit /r/deepfakes gebanned van de website. Een afgeleide subreddit genaamd /r/fakeapp bestaat nog steeds, opgericht door een gebruiker genaamd DeepFakes - waarvan wordt aangenomen dat het óf dezelfde persoon is als DeepFakeApp, of in ieder geval iemand met wie hij nauw samenwerkte.

In tegenstelling tot die oude subreddit is het in /r/fakeapp ten strengste verboden om niet-wederzijdse porno te plaatsen. Daar staat een ban op. Toch lijkt een groot gedeelte van de discussies op de subreddit te draaien om pornografie, en worden er vooral veel links gedeeld naar fora waar die beelden wél verspreid mogen worden.

Pornosites tegen deep fakes

Het zijn niet alleen sociale media die worstelen met het fenomeen. Ook 's werelds bekendste pornosite Pornhub verbiedt het plaatsen van deep fakes, maar de manier waarop dat moet gebeuren is nog onduidelijk. Een snelle zoekterm op de site laat op moment van schrijven 47 actieve deep fake-pornovideo's zien met verschillende bekende actrices. Pornhub zegt zelf dat het deep fake-video's behandelt zoals iedere andere vorm van content: als iemand een verwijderverzoek indient vanwege copyright-schending of wraakporno.

Maar juist die aanpak krijgt veel kritiek. Pornhub is juist groot geworden door het feit dat de website zo overspoeld wordt door video's dat copyright-houders niet tegen het enorme volume kunnen opvechten en het daarom maar opgeven.

Vechten tegen de bierkaai

Bovendien is het effect van één website (hoe invloedrijk dan ook) vechten tegen de bierkaai. Er zijn immers tienduizenden andere sites die maar wat graag verkeer trekken met dergelijke video's, zoals het relatief onbekende EroMe waar nu al tientallen deep fakes op worden aangeboden. Ook zijn er al een groot aantal forums online gekomen waar het delen van video's wordt gestimuleerd - het duurde ons niet veel langer dan 5 minuten om zulke websites te vinden.

Machine learning

AI-porno wordt gemaakt met machine learning-algoritmes. Waar die tot een paar jaar geleden nog voornamelijk voor onderzoekers beschikbaar waren wordt het steeds makkelijker voor doorsnee gebruikers om op die manier dergelijke nepvideo's te maken. Netwerken zoals TensorFlow van Google zijn inmiddels open source beschikbaar, en gratis te gebruiken voor studenten en onderzoekers, maar ook voor iedereen die wil experimenteren met machine learning.

Dat leidt tot apps zoals Deep Fake, die nu gratis te downloaden zijn en die uitgerekend een gebruiksvriendelijke interface hebben.

Makkelijk te maken

Programmeurs hebben dan enkel nog een aantal foto's of video's nodig om de beelden zo echt mogelijk te laten lijken. Daarom zijn beroemdheden zo aantrekkelijk voor het maken van de video's. Via Google en YouTube zijn met een paar zoektermen miljoenen beelden van een actrice beschikbaar.

Opvallend is ook dat voor machine learning geen industriële high-end hardware nodig is. Met gewone consumenten-gpu's en -cpu's is het al mogelijk om beelden te renderen - al is het natuurlijk afhankelijk van de kracht van een chip hoe snel dat gebeurt.

Gewone mensen

Omdat het steeds makkelijker wordt zulke beelden te maken is het maar de vraag wanneer het niet meer alleen over beroemdheden gaat, maar ook over 'gewone mensen'; de kennissen, vrienden of zelfs familie van een maker. Hoe geavanceerder de algoritmes worden, des te makkelijker het wordt om beelden te genereren. Experts voorspellen dan ook dat het in de toekomst doodnormaal wordt om zelfgemaakte porno te maken met wie je dan ook wil zien.

Legaliteit

Het is dan ook maar de vraag of zulke namaakporno wel legaal is, maar gek genoeg is dat niet zo makkelijk als het lijkt.

Daarbij kun je de link leggen met wraakporno, ook een relatief nieuw concept dat in groeiende mate problematisch wordt. Wraakporno is pornografisch materiaal dat door iemand anders wordt geüpload, vaak door bijvoorbeeld een rancuneuze ex.

"Verwerking van persoonsgegevens"

Aan de oppervlakte voelt het alsof deep fake-porno illegaal is - het is in ieder geval zwaar onethisch. Maar is het ook echt tegen de wet? Volgens Arnoud Engelfriet van ICT Recht wel, maar niet rondom dezelfde principes als wraakporno. Neppe porno is volgens Engelfriet 'een geautomatiseerde verwerking van een persoonsgegeven', en daarvoor zou de maker uitdrukkelijke toestemming nodig hebben.

Voor zover bekend heeft er nog geen rechter uitspraak gedaan over het fenomeen, maar als dat gebeurt kan dat leiden tot een precedent waarin het maken van neppe porno inherent wordt verboden.

Van de andere kant: wie houdt zich nou netjes aan zo'n uitspraak?

Belangrijk om te weten voor iedereen die Dispatch op een Switch of Switch 2 wil aanschaffen: de game is op die platforms gecensureerd, en dit kan niet uitgezet worden.

Dispatch kwam afgelopen jaar al uit op platforms als pc en PlayStation 5, en is sinds eerder deze week ook te koop voor Nintendo Switch en Nintendo Switch 2. Veel Switch-gamers keken al lange tijd uit naar de release van deze geprezen indiegame.

Censuur in Dispatch

Nu blijkt echter dat Dispatch op Switch-consoles gecensureerd is. De game bevat zo nu en dan scènes waarin (getekende) naaktheid voorkomt. Ook zitten er andere volwassen beelden in, zoals het opsteken van een middelvinger. In de andere platformversies zit er als optie de mogelijkheid deze beelden te censureren, maar spelers kunnen dit zelf bepalen door het aan of uit te zetten.

Op Switch en Switch 2 blijkt dit dus niet het geval: daar is het censuur vooralsnog verplicht. Volgens Dispatch-ontwikkelaar AdHoc (via Eurogamer) is dit gedaan omdat de game aan bepaalde regels moet doen om op de Nintendo eShop uit te komen.

Het lijkt er dan ook niet op dat er een patch uitkomt waarmee spelers het alsnog zelf kunnen bepalen, al is de kritiek online niet mals. Mocht die kritiek groeien, dan wordt er wellicht alsnog wat aan gedaan, maar dit is vooralsnog niet bevestigd.

Mogelijk heeft het te maken met strengere regels in bepaalde regio's - zoals Japan. Het zou kunnen dat AdHoc er voor heeft gekozen één versie van het spel voor alle regio's uit te brengen, waardoor het censuur voor alle regio's geldt. In Japan is de PS5-versie van de game bijvoorbeeld ook gecensureerd.

Nintendo heeft in een statement aan NintendoLife niet veel meer duidelijkheid gegeven over de situatie. Het bedrijf benadrukt dat leeftijdsclassificaties door onafhankelijke organisaties worden gegeven, maar dat het ook zelf richtlijnen voor zijn platforms heeft. "We informeren partners wanneer hun games niet aan deze richtlijnen voldoen, maar Nintendo past zelf niet de content van partners aan."

Nintendo en volwassen games

Nintendo zelf heeft in het verleden enkele controversiële keuzes gemaakt rondom censuur. Nintendo's spelcomputers staan er om bekend dat ze voor de hele familie bedoeld zijn, en in het verleden zorgde dit er bijvoorbeeld voor dat rood bloed met een andere kleur werd vervangen.

De laatste jaren leek Nintendo echter steeds coulanter te worden op het gebied van het vertonen van geweld en andere volwassen beelden in games. Diverse andere Switch 2- en Switch-games tonen wel volwassen materiaal, dus het is niet duidelijk waarom Dispatch dan toch gecensureerd is. Wellicht ligt het aan de combinatie met de tekenfilmachtige beelden in de game.

Over Dispatch

Dispatch draait om de aan lager wal geraakte superheld Robert Robertson. Tegenwoordig vult hij zijn tijd met een kantoorbaan, waarbij hij de administratie van andere superhelden verzorgt. Toch hoopt hij zelf uiteindelijk ook weer de held uit te kunnen hangen.

De game heeft daarmee een focus op het narratief, en doet daardoor meer dan eens denken aan de adventuregames van Telltale Games. Ontwikkelaar AdHoc bestaat dan ook gedeeltelijk uit voormalige werknemers van de studio achter de The Walking Dead-spellen.

Dispatch heeft daarbij een sterrencast die de rollen van de personages vervullen. Denk aan Aaron Paul (in de rol van de hierboven genoemde Robert), Jeffrey Wright (The Last of Us, Westworld, Matthew Mercer en Laura Bailey.

Dispatch is gestructureerd als een seizoen van een serie - de game kwam uit verspreid over meerdere episodes. AdHoc heeft eerder al laten weten dat een 'tweede seizoen' wordt overwogen.

Het is tijdelijk mogelijk om het eerste seizoen van de Amazon Prime Video-serie Fallout geheel gratis te zien.

De Fallout-serie is normaliter alleen te zien door een Amazon Prime Video-abonnement af te sluiten, maar de komende tijd zal het bedrijf gratis de afleveringen van het eerste seizoen op YouTube uitbrengen. Op moment van schrijven staan de eerste twee afleveringen er op, en de komende dagen volgt de rest.

De gratis afleveringen kunnen via het YouTube-kanaal van Amazon Prime Video bekeken worden. Tot 12 februari kan het eerste seizoen gratis via YouTube bekeken worden.

De gratis afleveringen zijn duidelijk bedoeld als promotie voor de serie, waarvan het tweede seizoen nu bezig is op Amazon Prime Video. Op 1 februari zal de laatste aflevering van dat tweede seizoen op Amazon Prime Video verschijnen.

Het succes van Fallout

In 2024 begon de fictieve Fallout-serie al op Amazon Prime Video, gebaseerd op de games van Bethesda. Met acteurs als Ella Purnell, Walton Goggins en Kyle MacLachlan wordt een alternatieve geschiedenis (en toekomst) geschetst waarbij de Verenigde Staten door een nucleaire winter geteisterd worden. Diverse samenlevingen houden het jarenlang vol in schuilkelders, en wanneer ze daar weer uit durven te komen, maken ze kennis met een aardoppervlakte die voorgoed veranderd is.

De serie bleek een grote hit en het eerste seizoen behaalde meer dan honderd miljoen kijkers. Ondertussen is al bevestigd dat er een derde seizoen komt - de opnames daarvan zullen in mei van start gaan.

Ook werkt Amazon aan een realityshow rondom Fallout, waarin deelnemers in een schuilkelder moeten leven en deel zullen nemen aan diverse spellen. Volgens de beschrijving "is het een spel van machtspatronen, populariteit en sociale strategieën waarbij uiteindelijk een gigantische geldprijs gewonnen kan worden". Verdere concrete detail zijn er nog niet, en het is ook niet duidelijk vanaf wanneer de realityshow op Amazon Prime Video te zien zal zijn.