Reddit, Twitter en zelfs Pornhub proberen het fenomeen al aan banden te leggen, maar de opmars van neppe AI-porno, ofwel 'deep fake', lijkt niet te stoppen. En dat levert problemen op.

'Deepfake AI-porno' klinkt als een mix van fintech-hype, futurologie, en een beetje viezigheid, maar het proces is in korte tijd uitgegroeid tot een groot probleem voor sociale media, beroemdheden en juristen.

De term staat voor het gebruiken van foto's van gezichten in andere beelden - in dit geval de gezichten van beroemdheden die 'gephotoshopt' worden in bestaande pornovideo's.

Beroemdheden als gewilde doelwitten

Beroemdheden zijn al jaren een gewild doelwit van perverselingen. 'The Fappening' staat nog vers in het geheugen, toen de iCloud-accounts van tientallen vrouwelijke entertainers werden gehackt en duizenden naaktfoto's over het web werden verspreid. De dader werd later opgepakt en veroordeeld voor 18 maanden, maar daarmee is de interesse in gewone actrices en zangeressen in seksuele posities en situaties niet minder geworden.

Dat kan sinds kort met deep fake-AI-porno, waarmee 'gewone' gezichten in bestaande porno-video's worden geplakt.

Deep fakes

De term 'deep fake' om de porno te beschrijven lijkt van een Reddit-gebruiker genaamd DeepFakeApp te komen. Hij ontwikkelde in december een experimenteel desktopprogramma (vernoemd naar zichzelf) om dergelijke fake video's en gifjes te maken - voornamelijk pornografisch materiaal met beroemdheden. Hij zette de applicatie online en begon een community op Reddit, die al snel tienduizenden volgers kreeg.

Machine learning

Het programma maakt gebruik van open source machine learning-algoritmes zoals Googles TensorFlow. Een gebruiker hoeft het maar te downloaden en er een batch foto's aan toe te voegen om zelf al een video te maken.

Om meer te leren over machine learning lees je ook ons uitgebreide achtergrondartikel.

Verboden op sociale media

Het gemak waarmee geruikers met deep fake-algoritmesvideo's kunnen maken zorgt voor problemen bij sociale media zoals Reddit of Twitter. Die waren er dan ook snel bij om hun regels aan te passen en nagemaakte content te blokkeren. Reddit en Twitter zijn, in tegenstelling tot bijvoorbeeld Facebook of Instagram, normaal gesproken erg tolerant wat porno betreft. Dat deep fake-video's dan ook zo snel verboden worden is veelzeggend.

Inmiddels is de subreddit /r/deepfakes gebanned van de website. Een afgeleide subreddit genaamd /r/fakeapp bestaat nog steeds, opgericht door een gebruiker genaamd DeepFakes - waarvan wordt aangenomen dat het óf dezelfde persoon is als DeepFakeApp, of in ieder geval iemand met wie hij nauw samenwerkte.

In tegenstelling tot die oude subreddit is het in /r/fakeapp ten strengste verboden om niet-wederzijdse porno te plaatsen. Daar staat een ban op. Toch lijkt een groot gedeelte van de discussies op de subreddit te draaien om pornografie, en worden er vooral veel links gedeeld naar fora waar die beelden wél verspreid mogen worden.

Pornosites tegen deep fakes

Het zijn niet alleen sociale media die worstelen met het fenomeen. Ook 's werelds bekendste pornosite Pornhub verbiedt het plaatsen van deep fakes, maar de manier waarop dat moet gebeuren is nog onduidelijk. Een snelle zoekterm op de site laat op moment van schrijven 47 actieve deep fake-pornovideo's zien met verschillende bekende actrices. Pornhub zegt zelf dat het deep fake-video's behandelt zoals iedere andere vorm van content: als iemand een verwijderverzoek indient vanwege copyright-schending of wraakporno.

Maar juist die aanpak krijgt veel kritiek. Pornhub is juist groot geworden door het feit dat de website zo overspoeld wordt door video's dat copyright-houders niet tegen het enorme volume kunnen opvechten en het daarom maar opgeven.

Vechten tegen de bierkaai

Bovendien is het effect van één website (hoe invloedrijk dan ook) vechten tegen de bierkaai. Er zijn immers tienduizenden andere sites die maar wat graag verkeer trekken met dergelijke video's, zoals het relatief onbekende EroMe waar nu al tientallen deep fakes op worden aangeboden. Ook zijn er al een groot aantal forums online gekomen waar het delen van video's wordt gestimuleerd - het duurde ons niet veel langer dan 5 minuten om zulke websites te vinden.

Machine learning

AI-porno wordt gemaakt met machine learning-algoritmes. Waar die tot een paar jaar geleden nog voornamelijk voor onderzoekers beschikbaar waren wordt het steeds makkelijker voor doorsnee gebruikers om op die manier dergelijke nepvideo's te maken. Netwerken zoals TensorFlow van Google zijn inmiddels open source beschikbaar, en gratis te gebruiken voor studenten en onderzoekers, maar ook voor iedereen die wil experimenteren met machine learning.

Dat leidt tot apps zoals Deep Fake, die nu gratis te downloaden zijn en die uitgerekend een gebruiksvriendelijke interface hebben.

Makkelijk te maken

Programmeurs hebben dan enkel nog een aantal foto's of video's nodig om de beelden zo echt mogelijk te laten lijken. Daarom zijn beroemdheden zo aantrekkelijk voor het maken van de video's. Via Google en YouTube zijn met een paar zoektermen miljoenen beelden van een actrice beschikbaar.

Opvallend is ook dat voor machine learning geen industriële high-end hardware nodig is. Met gewone consumenten-gpu's en -cpu's is het al mogelijk om beelden te renderen - al is het natuurlijk afhankelijk van de kracht van een chip hoe snel dat gebeurt.

Gewone mensen

Omdat het steeds makkelijker wordt zulke beelden te maken is het maar de vraag wanneer het niet meer alleen over beroemdheden gaat, maar ook over 'gewone mensen'; de kennissen, vrienden of zelfs familie van een maker. Hoe geavanceerder de algoritmes worden, des te makkelijker het wordt om beelden te genereren. Experts voorspellen dan ook dat het in de toekomst doodnormaal wordt om zelfgemaakte porno te maken met wie je dan ook wil zien.

Legaliteit

Het is dan ook maar de vraag of zulke namaakporno wel legaal is, maar gek genoeg is dat niet zo makkelijk als het lijkt.

Daarbij kun je de link leggen met wraakporno, ook een relatief nieuw concept dat in groeiende mate problematisch wordt. Wraakporno is pornografisch materiaal dat door iemand anders wordt geüpload, vaak door bijvoorbeeld een rancuneuze ex.

"Verwerking van persoonsgegevens"

Aan de oppervlakte voelt het alsof deep fake-porno illegaal is - het is in ieder geval zwaar onethisch. Maar is het ook echt tegen de wet? Volgens Arnoud Engelfriet van ICT Recht wel, maar niet rondom dezelfde principes als wraakporno. Neppe porno is volgens Engelfriet 'een geautomatiseerde verwerking van een persoonsgegeven', en daarvoor zou de maker uitdrukkelijke toestemming nodig hebben.

Voor zover bekend heeft er nog geen rechter uitspraak gedaan over het fenomeen, maar als dat gebeurt kan dat leiden tot een precedent waarin het maken van neppe porno inherent wordt verboden.

Van de andere kant: wie houdt zich nou netjes aan zo'n uitspraak?

Ubisoft heeft bevestigd dat er ongeveer veertig werknemers van diens studio in Toronto, Canada worden ontslagen. Wel benadrukt het bedrijf dat de Splinter Cell-remake nog altijd in ontwikkeling is.

De veertig ontslagen werknemers beslaan ongeveer acht procent van de complete Ubisoft Toronto-studio. Dat is een van de grotere Ubisoft-studio's. "Dit besluit is niet lichtzinnig gemaakt en zegt niets over het talent, de motivatie en bijdrage van de individuen", zo stelde een woordvoerder.

Ubisoft Toronto heeft odner andere Far Cry 6, Splinter Cell: Blacklist en Watch Dogs Legion ontwikkeld. Ook werkt het al geruime tijd aan een remake van Splinter Cell. Ubisoft heeft benadrukt dat die remake in ontwikkeling blijft bij de studio.

Remake van Splinter Cell

In 2021 werd de remake van de klassieke stealthgame Splinter Cell aangekondigd. Sindsdien is er maar mondjesmaat informatie over de game naar buiten gekomen. Kort na de aankondiging werd gemeld dat het verhaal wordt herschreven voor een moderner publiek.

Eind vorig jaar bleek dat David Grivel terugkeerde naar Ubisoft Toronto om aan het spel te werken. Hij nam de regie van de remake oorspronkelijk op zich, maar vertrok in 2022. Inmiddels is hij dus weer terug op het oude nest en werkt hij weer aan het spel.

Reorganisatie van Ubisoft

Afgelopen januari kondigde de Franse uitgever en ontwikkelaar Ubisoft al een grootschalige reorganisatie van het bedrijf aan, waarbij ook zes games werden geannuleerd - waaronder de remake van Prince of Persia: The Sands of Time.

Ubisoft noemde de reorganisatie een "grote organisatorische, operationele en portfolio-reset". Daarbij wil het bedrijf nog meer letten op de kwaliteit die het uitgeeft. Ubisofts nieuwe model gaat zich richten op verschillende 'creatieve huizen' die zich elk met andere soorten games bezighouden. Een daarvan is Vantage Studios, de vorig jaar met Tencent opgerichte dochteronderneming waar Assassin's Creed, Far Cry en Rainbow Six nu onder vallen.

Ubisoft heeft daarnaast aangekondigd dat het thuiswerken niet meer toelaat en dat alle werknemers worden geacht om fulltime op kantoor aanwezig te zijn. Wel krijgen werknemers een "een jaarlijkse toelage bestaande uit thuiswerkdagen". Twee studio's van Ubisoft sloten daarnaast hun deuren: de studio's in Halifax en Stockholm. Gedurende de volgende twee jaren wil het bedrijf nog eens 200 miljoen euro besparen.

Ubisoft heeft de laatste jaren wisselend succes met zijn games. Zo viel de verkoop van het miljoenenproject Star Wars Outlaws tegen. Zover bekend is het begin vorig jaar uitgekomen Assassin's Creed Shadows wel een verkoopsucces.

Na een korte teaser vorig najaar is deze week de eerste volledige trailer van de aankomende animatiefilm Toy Story 5 uitgebracht.

In het vijfde deel van de uiterst succesvolle Pixar-animatiefilmreeks maakt het levende speelgoed kennis met de Lilypad. Dat is een tablet waar alle aandacht naar uit gaat en dus een bedreiging vormt voor het speelgoed.

Met dat concept speelt de film slim in op de hedendaagse tijd. Tablets en smartphones zijn immers niet meer weg te denken uit de hedendaagse maatschappij, ook onder de jeugd. Lilypad luistert zelfs altijd mee, een duidelijke referentie naar de vrees dat onze smartphones ook alles wat we doen vastleggen.

Woody, Buzz en het andere speelgoed dat we nog kennen uit de vorige vier Toy Story-films zal er in ieder geval een stokje voor proberen te steken. Hoe dat afloopt, is vanaf 19 juni in de Amerikaanse bioscopen. Vaak is de Nederlandse premièredatum een dagje eerder op donderdag - in dit geval 18 juni - en waarschijnlijk geldt dat ook voor Toy Story 5.