Op internet is kant-en-klare software te vinden waarmee je zelf een deepfake-video maken kunt. Die software heet DeepFaceLab maar is nu niet bepaald gebruiksvriendelijk te noemen. Daarom helpen we je hier ermee op weg.

Het programma DeepFaceLab vereist Windows 10 en een recente Nvidia-kaart. De software oogt wat rudimentair en gebruikt batchbestanden voor het uitvoeren van acties. In de toekomst wil de maker een gebruikersvriendelijke interface maken waarbij je in principe alleen nog maar twee video’s hoeft te selecteren en op een knop hoeft te drukken.

Lees ook: Wat is deepfake en hoe herken je nepvideo's?

In de workspace-map staan drie mappen en twee videobestanden genaamd data_dst en data_src (doel en bron). Het laatste bestand bevat het gezicht dat je wilt gebruiken en moet worden verwerkt in het doelbestand. Voordat je begint, moet je dat materiaal dus bij elkaar zoeken, maar je kunt ook het meegeleverde bronmateriaal gebruiken. Dat bestaat uit een video van het personage Tony Stark uit Ironman, en de doelvideo is iemand die voor een greenscreen staat. Als je andere bestanden wilt gebruiken, moet je deze de eerdergenoemde namen geven.

Stappenplan deepfake-video

1. Voor de eerste stap moeten er losse frames uit de bronvideo worden gehaald; dat worden dan foto’s in png-formaat. Start batchbestand nummer 2. Je krijgt dan de vraag hoeveel frames per seconde je wilt gebruiken. Hoe meer fps, des te langer het renderen duurt. De eerste keer kun je het best voor de standaardopties kiezen door op de Enter-toets te drukken.

2. Start batchbestand 3.2. Deze doet hetzelfde met het doelbestand en haalt er losse frames uit. Bij optie 3.2 wordt elk individueel frame gebruikt en in een aparte map ondergebracht. Dat kan even duren, mede afhankelijk van de lengte van de video, de resolutie en hoe krachtig je computer is.

3. Vervolgens moeten de gezichtskenmerken worden opgenomen in een dataset. Daarvoor worden de eerste opslagen frames uit het bronbestand geanalyseerd. Kies voor optie 4: all gpu. De frames worden nu opgeslagen in data_src.

©PXimport

4. Doe vervolgens hetzelfde met de doelbestanden via batchbestand 5. Deze analyseert de gezichtskenmerken van het doelbestand op basis van de png-frames. De optie DLIB all GPU leidt tot minder fouten (false-postives) en MT all GPU leidt tot betere detectie en een realistischer algemeen resultaat, maar meer mogelijke fouten.

5. Controleer vervolgens de map aligned en verwijder hier afwijkende foto’s, bijvoorbeeld waar iets voor het gezicht zit. Deze verstoren namelijk het eindresultaat omdat de software anders denkt dat zoiets onderdeel uitmaakt van het gezicht.

6. Vervolgens moet de software worden getraind. Dat kan in verschillende kwaliteitsgradaties, maar de eerste keer is het handig om bij batchbestand 6 voor een lage waarde te kiezen, zoals H64. Dat levert een lagere kwaliteit op, maar wel sneller resultaat. De vragen slaan we voor nu over. Je kunt de training een tijd door laten lopen, eventueel uren als er veel bronmateriaal is. Druk op de Enter-toets om het trainen te beëindigen.

©PXimport

7. Daarna kunnen we de transformatie starten met batchbestand 7. Ook hier zijn weer verschillende gradaties beschikbaar en kiezen we eerst (omwille van de snelheid) voor H64. Opnieuw zijn er weer veel instellingsopties beschikbaar. Het kan per scène verschillen welke je hier het best kunt kiezen. Je kunt het altijd opnieuw uitvoeren.

8. De twee frames zijn nu samengevoegd, waarbij het brongezicht op dat van het lichaam van het doelbestand is geprojecteerd. Van deze losse foto’s moet nu weer een video worden gemaakt. Dat kan door de foto’s in een videobewerkingsprogramma te slepen, maar je kunt ook batchbestand 8 gebruiken, die de beelden omzet naar een mp4-bestand.

Grotere dataset geeft beter resultaat

Het resultaat is indrukwekkend, maar niet perfect. Om tot een beter resultaat te komen is het aan te raden om de dataset uit te breiden, bijvoorbeeld door meerdere bronvideo’s te gebruiken waarbij het gezicht in verschillende omstandigheden en vanuit diverse hoeken te zien is. Het is ook afhankelijk van het doelbestand. Draait de persoon zich daar bijvoorbeeld naar de zijkant, dan heb je ook bronmateriaal nodig waarbij dat gebeurt. De resolutie van het bronmateriaal is eveneens belangrijk, anders blijven details vaag.

Tekst: Jeroen Horlings

Philips Hue SpatialAware is een nieuwe functie die lichtscènes afstemt op de indeling van je kamer. In plaats van kleuren 'los' over je lampen te verdelen, gebruikt Hue een ruimtelijke kaart waarbij rekening wordt gehouden met de onderlinge verhouding van je lampen. Het resultaat? De scènes voelen een stuk natuurlijker aan. Hoe zit dat precies, en hoe stel je het in?

Veel Hue-scènes bestaan vooral uit een palet: kleur + helderheid. De app houdt daarbij tot nu toe beperkt rekening met waar je lampen staan en op welke hoogte ze hangen. Het gevolg is dat een staande lamp in de hoek soms dezelfde kleur of felheid krijgt als spots boven de eettafel, terwijl je bij een scène als "zonsondergang" juist een logisch verloop verwacht dat door de ruimte loopt. In de praktijk voelt zo'n scène dan meer als losse lampen die toevallig hetzelfde thema draaien, in plaats van één lichtbeeld dat klopt vanuit een richting of 'bron'.

Je kunt het vergelijken met surround sound. Als je kanalen zonder plattegrond willekeurig aan speakers koppelt, hoor je wel geluid, maar de richting klopt niet. SpatialAware doet voor licht hetzelfde als een goede speakeropstelling voor audio: de plek in de ruimte wordt het uitgangspunt.

Wat SpatialAware anders doet

SpatialAware draait de aansturing om. Je scant je kamer met de camera van je telefoon of tablet, waarbij de Hue-app augmented reality gebruikt om vast te leggen waar je lampen zich bevinden: links of rechts, hoog of laag, plafond of vloer. Op basis daarvan slaat de Hue-app een ruimtelijk model van de kamer op, dat automatisch wordt bijgewerkt als je later lampen toevoegt. Kies je daarna een ondersteunde scène, dan verdeelt Hue kleur en helderheid bewust op basis van die posities. Daardoor krijgen plafondlampen en lampen op ooghoogte niet meer zomaar dezelfde tinten, maar spelen ze een eigen rol in het totale lichtbeeld.

Wanneer zie je het meeste effect

Heb je maar een paar Hue-lampen in je kamer, dan is het effect heel beperkt. Maar heb je in je kamer meerdere lampen op verschillende posities en hoogtes staan en/of hangen, dan is SpatialAware wel een mooie toepassing. Denk aan een woonkamer met plafondspots, een staande lamp naast de bank, een ledstrip achter het tv-meubel en sfeerverlichting in een kast. Dan valt er echt iets 'ruimtelijks' te verdelen en zie je sneller dat de scène als één geheel aanvoelt.

Bij scènes die op de natuur geïnspireerd zijn, zie je het verschil vaak als eerste, omdat dit soort scènes draait om een geleidelijke overgang. Denk aan het idee van een horizon: aan de ene kant warm en dieper van kleur, alsof de zon net ondergaat, en richting plafond juist lichter en koeler, zoals een heldere lucht. Zonder ruimtelijke logica kan zo'n verdeling op willekeur lijken, waardoor de sfeer niet helemaal klopt. Met SpatialAware kan Hue dat verloop koppelen aan de posities van je lampen, zodat de kleuren zich logischer verdelen en de scène als één geheel voelt.

©Philips Hue

Zo stel je Hue SpatialAware in

Open in de Hue-app de kamer waarin je SpatialAware wilt gebruiken en start de scan. De app begeleidt je terwijl je de ruimte filmt, zodat de posities van je lampen worden vastgelegd. Daarna sla je het ruimtelijke model op. Voeg je later lampen toe of verplaats je ze, dan scan je die kamer opnieuw zodat de kaart weer klopt.

Voor welke scènes kun je SpatialAware gebruiken?

Op dit moment werkt SpatialAware met ongeveer de helft van alle 'geremasterde' scènes uit de Scene Gallery. De nadruk ligt op natuur-scènes (bijvoorbeeld Savanna Sunset, Lake Placid en Mountain Breeze). Het belangrijkste om te onthouden: niet elke scène krijgt meteen SpatialAware. In de app hoort per scène zichtbaar te zijn of de functie wordt ondersteund.

©Philips Hue

Dit heb je nodig

SpatialAware werkt alleen samen met de Hue Bridge Pro. Daarnaast heb je een smartphone of tablet nodig waarop de Hue-app geïnstalleerd is (downloaden voor iOS | downloaden voor Android), zodat er een scan gemaakt kan worden. Zonder die scan is er geen ruimtelijke kaart en kan SpatialAware niets verdelen.

Wat zie je in de praktijk?

De winst zit vooral in samenhang: scènes ogen netter en meer 'zoals bedoeld', omdat hoogte en positie van je lampen meetellen. Kleur en licht worden daardoor logischer verdeeld. Plafondlicht en sfeerverlichting zitten elkaar minder in de weg, omdat ze niet meer automatisch dezelfde tinten en felheid toebedeeld krijgen.

Hue SpatialAware: praktijkvoorbeeld

Op de foto (klik erop om hem groot te openen) zie je boven de Lake Mist-scène zonder SpatialAware en daaronder dezelfde scène mét SpatialAware. Als je kijkt naar de thumbnail van het scènevoorbeeld links onderin, dan zie je dat het voorbeeld in de onderste afbeelding beter klopt met wat je in de kamer ziet: de kleuren zijn verdeeld alsof je naar een horizon kijkt. Onderaan zitten warmere, oranje tinten, die geleidelijk opschuiven naar blauwere tonen richting 'lucht'.

Dat zie je vooral terug in de verdeling over de lampen. In de bovenste versie lijkt het alsof vooral één ledstrip de scène draagt, waardoor de rest van de verlichting minder meedoet. In de onderste versie vormen de lichtpunten meer één geheel: het licht boven en achter de deur links is nu bijvoorbeeld één duidelijke kleur in plaats van dat het bestaat uit meerdere losse tinten. Dat oogt rustiger en gelijkmatiger. Tegelijk voelt die onderste versie ook wat koeler, waardoor Lake Mist misschien niet de meest uitgesproken scène is om het verschil te demonstreren, maar je ziet wel goed wat SpatialAware doet: het maakt van losse kleuren een verdeling die beter past bij het idee achter de scène.

©Philips Hue

Privacy en veiligheid

Voor SpatialAware scan je je kamer met de camera. Die 3D-scan wordt vervolgens opgeslagen in de Hue-app. Of de kaart volledig lokaal blijft of ook opgeslagen wordt in de cloud hebben wij niet kunnen achterhalen. Ga er dus niet automatisch vanuit dat alles op je telefoon blijft. Als voorzorgsmaatregel kun je de Hue-app alleen cameratoegang geven op het moment dat je de scan doet en daarna kijken in iOS of Android of je die permissie weer wilt beperken. Kan er gevoelige informatie in beeld komen (bijvoorbeeld post, documenten of een whiteboard) tijdens het scannen? Berg dat dan even weg tot na je scan.  

JBL brengt met de BandBox-serie zijn eerste audioproducten uit die specifiek gericht zijn op het maken van muziek. De BandBox Solo en Trio zijn bluetooth-speakers die tegelijkertijd functioneren als versterker voor instrumenten. De opvallendste toevoeging is het gebruik van kunstmatige intelligentie om audiosporen in realtime te scheiden, wat het meespelen met bestaande nummers makkelijker moet maken.

De kern van de nieuwe serie is de zogeheten 'Stem AI'-technologie. Hiermee kunnen gebruikers specifieke onderdelen van een liedje, zoals de zang, drums of gitaar drums in realtime op het apparaat zelf kunt isoleren of verwijderen uit elk nummer. Voor muzikanten biedt dit praktische voordelen: je kunt een gitaarpartij isoleren om precies te horen hoe deze gespeeld wordt, of de partij juist wegdraaien om zelf mee te spelen over de originele begeleiding.

Voor één muzikant

De instapversie is de BandBox Solo, een compacte speaker met een vermogen van 18 watt RMS. Het apparaat beschikt over één ingang die geschikt is voor een gitaar of microfoon. Gebruikers kunnen via de JBL One-app diverse digitale versterkers en effecten zoals reverb, chorus en phaser instellen, waardoor externe effectpedalen in veel gevallen overbodig zijn. Daarnaast functioneert de Solo als audio-interface: via de usb-c-aansluiting koppel je hem aan een laptop om direct opnames te maken in muziekproductiesoftware (DAW).

Voor meerdere muzikanten tegelijk

Voor wie meer aansluitmogelijkheden of volume nodig heeft, is er de BandBox Trio. Dit model levert 135 watt vermogen en is uitgerust met een ingebouwde vierkanaalsmixer. Hierdoor is het mogelijk om met meerdere mensen tegelijk te spelen, bijvoorbeeld een zanger en twee instrumentalisten. De Trio onderscheidt zich verder door een verwisselbare accu die tot tien uur speeltijd biedt en een LCD-scherm voor directe feedback. Ook heeft dit model meer fysieke knoppen, zodat je het geluid tijdens het spelen kunt aanpassen zonder direct de app erbij te hoeven pakken.

Prijs en beschikbaarheid

De JBL BandBox Solo en Trio zijn vanaf februari verkrijgbaar. De BandBox Solo heeft een adviesprijs van 249,99 euro. De grotere BandBox Trio kost 599,99 euro. Een belangrijk detail voor vroege kopers is dat de 'looper'-functie, waarmee je laagjes muziek over elkaar opneemt, bij lancering nog niet beschikbaar is; deze wordt volgens JBL pas in oktober via een update toegevoegd.