Reddit, Twitter en zelfs Pornhub proberen het fenomeen al aan banden te leggen, maar de opmars van neppe AI-porno, ofwel 'deep fake', lijkt niet te stoppen. En dat levert problemen op.

'Deepfake AI-porno' klinkt als een mix van fintech-hype, futurologie, en een beetje viezigheid, maar het proces is in korte tijd uitgegroeid tot een groot probleem voor sociale media, beroemdheden en juristen.

De term staat voor het gebruiken van foto's van gezichten in andere beelden - in dit geval de gezichten van beroemdheden die 'gephotoshopt' worden in bestaande pornovideo's.

Beroemdheden als gewilde doelwitten

Beroemdheden zijn al jaren een gewild doelwit van perverselingen. 'The Fappening' staat nog vers in het geheugen, toen de iCloud-accounts van tientallen vrouwelijke entertainers werden gehackt en duizenden naaktfoto's over het web werden verspreid. De dader werd later opgepakt en veroordeeld voor 18 maanden, maar daarmee is de interesse in gewone actrices en zangeressen in seksuele posities en situaties niet minder geworden.

Dat kan sinds kort met deep fake-AI-porno, waarmee 'gewone' gezichten in bestaande porno-video's worden geplakt.

Deep fakes

De term 'deep fake' om de porno te beschrijven lijkt van een Reddit-gebruiker genaamd DeepFakeApp te komen. Hij ontwikkelde in december een experimenteel desktopprogramma (vernoemd naar zichzelf) om dergelijke fake video's en gifjes te maken - voornamelijk pornografisch materiaal met beroemdheden. Hij zette de applicatie online en begon een community op Reddit, die al snel tienduizenden volgers kreeg.

Machine learning

Het programma maakt gebruik van open source machine learning-algoritmes zoals Googles TensorFlow. Een gebruiker hoeft het maar te downloaden en er een batch foto's aan toe te voegen om zelf al een video te maken.

Om meer te leren over machine learning lees je ook ons uitgebreide achtergrondartikel.

Verboden op sociale media

Het gemak waarmee geruikers met deep fake-algoritmesvideo's kunnen maken zorgt voor problemen bij sociale media zoals Reddit of Twitter. Die waren er dan ook snel bij om hun regels aan te passen en nagemaakte content te blokkeren. Reddit en Twitter zijn, in tegenstelling tot bijvoorbeeld Facebook of Instagram, normaal gesproken erg tolerant wat porno betreft. Dat deep fake-video's dan ook zo snel verboden worden is veelzeggend.

Inmiddels is de subreddit /r/deepfakes gebanned van de website. Een afgeleide subreddit genaamd /r/fakeapp bestaat nog steeds, opgericht door een gebruiker genaamd DeepFakes - waarvan wordt aangenomen dat het óf dezelfde persoon is als DeepFakeApp, of in ieder geval iemand met wie hij nauw samenwerkte.

In tegenstelling tot die oude subreddit is het in /r/fakeapp ten strengste verboden om niet-wederzijdse porno te plaatsen. Daar staat een ban op. Toch lijkt een groot gedeelte van de discussies op de subreddit te draaien om pornografie, en worden er vooral veel links gedeeld naar fora waar die beelden wél verspreid mogen worden.

Pornosites tegen deep fakes

Het zijn niet alleen sociale media die worstelen met het fenomeen. Ook 's werelds bekendste pornosite Pornhub verbiedt het plaatsen van deep fakes, maar de manier waarop dat moet gebeuren is nog onduidelijk. Een snelle zoekterm op de site laat op moment van schrijven 47 actieve deep fake-pornovideo's zien met verschillende bekende actrices. Pornhub zegt zelf dat het deep fake-video's behandelt zoals iedere andere vorm van content: als iemand een verwijderverzoek indient vanwege copyright-schending of wraakporno.

Maar juist die aanpak krijgt veel kritiek. Pornhub is juist groot geworden door het feit dat de website zo overspoeld wordt door video's dat copyright-houders niet tegen het enorme volume kunnen opvechten en het daarom maar opgeven.

Vechten tegen de bierkaai

Bovendien is het effect van één website (hoe invloedrijk dan ook) vechten tegen de bierkaai. Er zijn immers tienduizenden andere sites die maar wat graag verkeer trekken met dergelijke video's, zoals het relatief onbekende EroMe waar nu al tientallen deep fakes op worden aangeboden. Ook zijn er al een groot aantal forums online gekomen waar het delen van video's wordt gestimuleerd - het duurde ons niet veel langer dan 5 minuten om zulke websites te vinden.

Machine learning

AI-porno wordt gemaakt met machine learning-algoritmes. Waar die tot een paar jaar geleden nog voornamelijk voor onderzoekers beschikbaar waren wordt het steeds makkelijker voor doorsnee gebruikers om op die manier dergelijke nepvideo's te maken. Netwerken zoals TensorFlow van Google zijn inmiddels open source beschikbaar, en gratis te gebruiken voor studenten en onderzoekers, maar ook voor iedereen die wil experimenteren met machine learning.

Dat leidt tot apps zoals Deep Fake, die nu gratis te downloaden zijn en die uitgerekend een gebruiksvriendelijke interface hebben.

Makkelijk te maken

Programmeurs hebben dan enkel nog een aantal foto's of video's nodig om de beelden zo echt mogelijk te laten lijken. Daarom zijn beroemdheden zo aantrekkelijk voor het maken van de video's. Via Google en YouTube zijn met een paar zoektermen miljoenen beelden van een actrice beschikbaar.

Opvallend is ook dat voor machine learning geen industriële high-end hardware nodig is. Met gewone consumenten-gpu's en -cpu's is het al mogelijk om beelden te renderen - al is het natuurlijk afhankelijk van de kracht van een chip hoe snel dat gebeurt.

Gewone mensen

Omdat het steeds makkelijker wordt zulke beelden te maken is het maar de vraag wanneer het niet meer alleen over beroemdheden gaat, maar ook over 'gewone mensen'; de kennissen, vrienden of zelfs familie van een maker. Hoe geavanceerder de algoritmes worden, des te makkelijker het wordt om beelden te genereren. Experts voorspellen dan ook dat het in de toekomst doodnormaal wordt om zelfgemaakte porno te maken met wie je dan ook wil zien.

Legaliteit

Het is dan ook maar de vraag of zulke namaakporno wel legaal is, maar gek genoeg is dat niet zo makkelijk als het lijkt.

Daarbij kun je de link leggen met wraakporno, ook een relatief nieuw concept dat in groeiende mate problematisch wordt. Wraakporno is pornografisch materiaal dat door iemand anders wordt geüpload, vaak door bijvoorbeeld een rancuneuze ex.

"Verwerking van persoonsgegevens"

Aan de oppervlakte voelt het alsof deep fake-porno illegaal is - het is in ieder geval zwaar onethisch. Maar is het ook echt tegen de wet? Volgens Arnoud Engelfriet van ICT Recht wel, maar niet rondom dezelfde principes als wraakporno. Neppe porno is volgens Engelfriet 'een geautomatiseerde verwerking van een persoonsgegeven', en daarvoor zou de maker uitdrukkelijke toestemming nodig hebben.

Voor zover bekend heeft er nog geen rechter uitspraak gedaan over het fenomeen, maar als dat gebeurt kan dat leiden tot een precedent waarin het maken van neppe porno inherent wordt verboden.

Van de andere kant: wie houdt zich nou netjes aan zo'n uitspraak?

Hazelight Studios, de ontwikkelaar van de succesvolle coöperatieve games It Takes Two en Split Fiction, heeft een nieuwe game in ontwikkeling en is op dit moment bezig met de opnames ervoor.

Enige tijd geleden gaf regisseur Josef Fares al aan dat er een nieuwe game in ontwikkeling was bij de studio, maar nu heeft hij op social media een foto geplaatst waarop Fares te zien is met drie acteurs in motion capturing-pakken. Daarmee wordt dus duidelijk gemaakt dat de opnames voor de game in ieder geval al in volle gang zijn.

Overigens is de identiteit van de acteurs niet bekend. Fares houdt zijn arm voor de gezichten van de acteurs. Mogelijk zijn het dus bekende acteurs en wil hij dat nog verhullen, al is dat speculatie. Over speculatie gesproken: het feit dat er drie acteurs te zien zijn, doet sommige fans vermoeden dat de nieuwe game van Hazelight mogelijk met drie spelers tegelijk te spelen valt in plaats van twee, maar ook dat is nog alles behalve bevestigd.

Over de games van Hazelight Studios

Hazelight Studios is gespecialiseerd in het creëren van games die coöperatief doorlopen moeten worden. No Way Out, It Takes Two en Split Fiction vergen allen twee spelers. Daarbij draait het om samenwerken, wat hun games een populaire bezigheid maakt voor gamende koppels en vrienden.

It Takes Two bleek een grote hit voor de studio. In het spel spreekt een dochter van een ruziënd stel een vloek over het tweetal uit, waardoor ze minuscuul worden. Ze zullen moeten leren communiceren en samenwerken om zich uit deze hachelijke situatie te redden, terwijl ze als kleine poppen door een uitvergrote versie van hun huis en tuin reizen.

Na het succes van It Takes Two bracht Hazelight het conceptueel vergelijkbare Split Fiction uit. Die game draait om twee schrijvers, Mio en Zoe, die worden ingehuurd om verhalen te creëren voor een technologie die deze verhalen levensecht kan simuleren. De vrouwen worden door het bedrijf achter de technologie echter gevangen in een simulatie, en in de game wordt er constant tussen de twee verhalen van Mio en Zoe geschakeld. Dat levert zowel fantasievolle als futuristische settings op.

Zowel It Takes Two als Split Fiction komen met een Friend Pass. Dat houdt in dat maar één speler de game hoeft te kopen, en de tweede speler gratis online mee kan spelen. De games zijn ook via splitscreen samen op de bank speelbaar.

Apple heeft de volledige rechten op de Apple TV-serie Severance overgenomen, en gaat de serie voortaan binnenshuis produceren.

De eerste twee seizoenen van Severance staan al op Apple TV, maar de serie werd geproduceerd door Fifth Season. Apple Studios was alleen de distributeur. Daar is nu verandering gekomen: Apple heeft iets minder dan 70 miljoen dollar betaald voor de volledige rechten op de serie.

Dat betekent dat het bedrijf de productie van de serie voortaan ook zelf gaat doen, al zal Fifth Season wel als executive producer aangesteld blijven. Ook showrunner Dan Erickson en uitvoerden producent Ben Stiller (die we natuurlijk ook kunnen van vele comedyfilms) blijven hun rollen bekleden, dus aan de kwaliteit van de serie verandert als het goed is niets.

Financiële stabiliteit

Volgens Deadline zou de overname mogelijk gedaan zijn om de productie van de show financieel stabiel te houden. In het tweede seizoen waren de productiekosten naar het schijnt zo'n 20 miljoen dollar per aflevering, en Apple kan door zijn formaat dit beter dragen.

Het plan is dat Severance in totaal vier seizoenen krijgt - al worden een vijfde seizoen en een spin-off ook niet uitgesloten. De opnames van het langverwachte derde seizoen moet aankomende zomer starten. De makers van de serie willen eerst de scripts zover mogelijk afkrijgen, zodat ze bij schrijfwerk van de laatste afleveringen van het seizoen nog relatief goedkoop terug kunnen gaan naar scripts van eerdere afleveringen om wijzigingen aan te brengen waar nodig.

Over Severance

De Apple TV-serie Severance draait om Mark S., die een opmerkelijke kantoorbaan bij het bedrijf Lumon Industries heeft: zodra hij op kantoor komt, weet hij niets van zijn leven buiten kantoor. Wanneer hij klaar is en weer naar huis gaat, weet hij niets van zijn werk. Dat komt door een speciale procedure waardoor de herinneringen van de werkplek in het privéleven gescheiden worden.

Dit concept is de voedingsbodem voor een ingewikkelde en verrassende serie waarin Mark samen met zijn collega's langzaam maar zeker probeert te achterhalen hoe de vork precies in de steel steekt bij Lumon. Zoals gezegd zijn er inmiddels twee seizoenen uitgekomen, die beiden op streamingdienst Apple TV te zien zijn.