Deepfakes herkennen: Zo ben je de computer te slim af
Hoewel deepfakes, faceswaps en door computer gegenereerde beelden steeds beter worden, zijn er gelukkig nog steeds mogelijkheden om ze te herkennen. Bovendien biedt detectiesoftware een helpende hand, want als een algoritme zelf nepbeelden kan genereren, dan kan een ander algoritme juist getraind worden om dat weer te detecteren. Een lesje deepfakes herkennen.
De belangrijkste vaardigheid om een deepfake-video (of -foto) te herkennen, is het gebruik van gezond verstand. Het slechtste wat je kunt doen, is onbevestigde beelden direct voor waar aannemen en meteen delen op sociale media. Daarmee verspreid je mogelijk nepnieuws, met alle gevolgen van dien. Neem niet alles meteen voor waar aan, maar zoek naar bevestiging dat wat (of wie) op de beelden te zien is ook daadwerkelijk klopt, zeker als het ongebruikelijk is.
Is het denkbaar dat iemand dit doet of zegt? Zijn er mensen die erbij waren en dit kunnen bevestigen? Is de bron waar het beeld staat of wie het beeld deelt betrouwbaar? Is er beeld vanuit een ander standpunt? Zijn er factchecks van onafhankelijke personen die bevestigen dat het beeld waarschijnlijk echt is? Helaas leven we in een tijdperk waarbij we niet direct alles meer voor waar kunnen aannemen. Goede onafhankelijke journalistiek wordt steeds belangrijker.
Foutjes opmerken
Hoewel deepfakes steeds beter worden, bevatten ze soms nog zichtbare fouten. Let tijdens het kijken vooral op het gezicht, aangezien faceswaps de meest voorkomende video’s zijn. Bewegen de ogen, wenkbrauwen en mond natuurlijk? Ziet de huid er te glad of juist te rimpelig uit? Komt de leeftijd overeen met het haar? Ziet de schaduw en de lichtinval op het gezicht er realistisch uit? Hapert een deel van het beeld af en toe?
Let vooral op wanneer een hoofd naar links of rechts beweegt of omdraait, want dat zijn de momenten waarop het samenvoegen van gezichten vaak tot zichtbare fouten leidt. Voor een faceswap is een zo statisch mogelijke situatie met een frontale aanblik het beste. Een persoon kijkt dan recht de camera in en beweegt weinig.
Het is makkelijk om een persoon voor een andere achtergrond te plaatsen, maar dit is vaak wel af te zien aan het beeld. Bijvoorbeeld doordat de persoon in kwestie (on)scherper is dan de achtergrond, of dat er een contour rondom zichtbaar is. Tot slot is het zinvol om te letten op het knipperen van de ogen. Bij deepfakes van matige kwaliteit knippert iemand bijvoorbeeld minder vaak dan normaal. Als de kwaliteit van het beeld matig is, moeten de alarmbellen sowieso gaan rinkelen.
Voor foto’s die, in tegenstelling tot faceswaps, volledig door een algoritme zijn gegenereerd, komen een aantal herkenningspunten overeen. Bij foto’s met een achtergrond is soms te zien dat deze te willekeurig lijkt en niet duidelijk een herkenbaar landschap of een interieur toont. Zo’n achtergrond oogt vaak kunstmatig scherp of bevat juist onlogische delen die wisselend scherp en onscherp zijn.
Ook komt het weleens voor dat een AI er een tweede persoon of iets als een hand bij bedenkt die vreemd gepositioneerd is. Het gaat ook vaak fout met haar, dat bijvoorbeeld een kleur van de achtergrond overneemt of qua scherpte niet klopt. Egale achtergronden zijn het makkelijkste om te maken voor een AI, maar die zijn juist daardoor verdacht – de meeste foto’s worden niet in een steriele fotostudio gemaakt … al komt dat wel voor en dat maakt de herkenning bijzonder lastig.
Hulpmiddelen inschakelen
Voor ieder probleem is een (technische) oplossing. De laatste jaren verschijnen er steeds meer hulpmiddelen die kunnen detecteren of beeld authentiek is of niet. Oftewel: software probeert te detecteren of andere software heeft bijgedragen aan de totstandkoming, c.q. manipulatie, van het beeld.
Een voorbeeld is de ‘Coalition for Content Provenance and Authenticity’ (C2PA): een alliantie van Adobe, ARM, Intel, Microsoft en Truepic en diverse mediabedrijven zoals de BBC en The New York Times. Via ‘Project Origin’ kunnen mediamakers detecteren beelden echt of nep zijn. Dergelijke software is niet openbaar te downloaden en heeft vaak een betaalmodel.
Andere bedrijven die actief zijn op dit vlak zijn Sensity en Deepfact van 3DUniversum. Dat laatste bedrijf is opgericht door Prof. Dr. Theo Gevers van de Universiteit van Amsterdam, die daar Deep Learning en Artificial Intelligence doceert. Hij vertelde daarover in 2019 tegen PCM het volgende: “We analyseren zo’n 50.000 punten op een gezicht en de software toont dan welke delen wel en niet overeenkomen met de werkelijkheid. Het lastige is dat er veel verschillende methodes in omloop zijn om deepfake-video’s te maken en ieder jaar komen daar weer twee of drie nieuwe bij die nog geavanceerder zijn.”
De software let op verschillende deficiënties, zoals ogen die niet realistisch knipperen, verschillende kleuren ogen, oorbellen die niet symmetrisch zijn en een achtergrond die niet klopt. Het algoritme wordt gevoed met een dataset met nepbeelden die meer dan 10 miljoen afbeeldingen omvat. Het algoritme legt ook uit waarom een afbeelding als nep wordt beschouwd, zodat het voor mensen makkelijker wordt een deepfake te herkennen (zonder dat je een algoritme nodig hebt).
©PXimport
Doe de quiz
3DUniversum heeft een quiz ontwikkeld waarmee je kunt testen of je nepbeelden herkent. Je krijgt twaalf gezichten voorgeschoteld waarvan je moet spotten of ze echt zijn. Het begint met een enkele afbeelding en het eindigt met aantal reeksen van vier foto’s waarvan telkens slechts één beeld echt is. Na de beantwoording van de vraag zie welke het is.
Niet alleen leer je waar je op moet letten bij door computers gegenereerde portretfoto’s ook zie je hoe lastig het nog is om echt van nep te onderscheiden. Van de ruim 32.000 uitgevoerde quizzen op moment van schrijven had minder dan 0,1% alles goed.
Tekst: Jeroen Horlings
