De introductie van de vraagbaak ChatGPT zorgde een jaar geleden voor een enorme hype, en vormde het startsein voor de lancering van talloze andere op AI gebaseerde producten. Whisper komt uit dezelfde koker als ChatGPT en helpt bij het omzetten van spraak naar tekst, op basis van geavanceerde modellen.

Wil je een transcriptie of ondertitels hebben voor bepaalde audio- of videobestanden? Bijvoorbeeld content voor YouTube, opgenomen vergaderingen, een podcast of leerzame video? Dit kan tegenwoordig automatisch én vrijwel foutloos. Het kan natuurlijk al langer, maar er zaten vaak veel missers bij. Dat zie je ook al aan de automatisch gegenereerde ondertitels op YouTube. Het is ook best een uitdaging. De menselijke spraak is erg divers, met veel accenten en dialecten, maar ook verschil in spreeksnelheid en intonatie. Er kunnen bovendien storende achtergrondgeluiden zijn, zoals het verkeer of bouwwerkzaamheden. Een spreker kan onduidelijk overkomen of onzeker zijn. Omdat woorden verschillende betekenissen kunnen hebben, kan ten slotte ook de context onderscheidend zijn.

Geholpen door AI zijn tegenwoordig heel nauwkeurige transcripties mogelijk. Teksten kunnen daarbij ook meteen worden vertaald. Dat laten we zien in dit artikel, waarin we met Whisper (zie kader ‘Wat is Whisper’) aan de slag gaan. We beginnen in de cloud met Google Colab. Daarna maken we vertalingen vanaf een lokale pc. Dit versnelt wellicht je proces en maakt je minder afhankelijk van de cloud.

©bestforbest - stock.adobe.com

1 Benodigdheden

Voor het werken met Whisper heb je niet per se een pc nodig: je kunt cloud computing inzetten. Dat kan – omdat het een Python-project is – zelfs gratis met Google Colab. Daar beginnen we in dit artikel dan ook mee. Wil je niet afhankelijk zijn van een clouddienst, dan kun je Whisper ook lokaal op je pc installeren. De software is namelijk opensource. Voor aanvullende informatie kun je op de GitHub-pagina terecht. Verderop in dit artikel behandelen we een lokale installatie in meer detail. Hiervoor heb je overigens wel een capabel systeem nodig, anders zal het maken van de transcripties erg lang duren. Om het rekenwerk te versnellen, gebruiken we een grafische kaart van Nvidia.

2 Verschillende modellen

Je kunt bij het werken met Whisper uit verschillende modellen kiezen, oplopend in omvang. De meertalige modellen heten achtereenvolgens tiny, base, small, medium en large. Als je Whisper gebruikt, moet je één van deze modellen kiezen. Er zijn ook modellen voor alleen het Engels. Deze heten tiny.en, base.en, small.en en medium.en. Hoewel je voor Engels ook gewoon de meertalige modellen kunt gebruiken, zijn deze specifieke Engelstalige modellen wat nauwkeuriger, al merk je dat vooral bij de kleinere modellen tiny.en en base.en. We kiezen in dit artikel steeds voor het medium-model, met voor Engels de .en-versie. Probeer en vergelijk zeker de kleinere modellen als je een minder zwaar systeem of minder tijd hebt.

3 Google Colab

Je kunt voor weinig geld cpu-kracht in de cloud huren. Voor gpu-kracht betaal je vaak veel meer. Google Colab biedt het allemaal voor niks. In feite is Colab, voluit ‘Colaboratory’, een Python-omgeving in de cloud. Je kunt de omgeving gewoon via een browser benaderen met een gratis Google-account. Door de opmars van grafisch intensieve AI-toepassingen, vaak met Python als basis, is het platform van Google flink in trek. Dat maakt het wat onzeker of deze dienst kan blijven bestaan en gratis blijft. Maar dat geldt voor veel experimentele diensten van de techgigant. Daarom laten we verderop in dit artikel, vanaf stap 10, ook zien hoe je lokaal op je eigen pc kunt werken met Whisper, voor als de stekker eruit gaat.

4 Koppeling Google Drive

We beginnen in Google Drive waar je Colab als app kunt koppelen. Kies daarvoor Nieuw / Meer / Meer apps koppelen. Vul in het zoekveld Google Colaboratory in. Klik op de bewuste app en kies dan Installeren. Na het doorlopen van de stappen is Google Colaboratory gekoppeld aan je Google Drive en kun je het venster sluiten.

5 Whisper installeren

Nadat de app is gekoppeld kun je onder Nieuw / Meer direct Google Colaboratory openen. Linksboven kun je de naam van het project (Untitled0.jpynb) veranderen. We maken hier YouTube-demo.jpynb van. Kies in het menu Runtime voor Runtimetype wijzigen. Selecteer onder Hardwareversnelling een gpu. De beschikbaarheid kan variëren. In dit voorbeeld kiezen we T4 GPU. Klik dan op Opslaan. De grafische kracht zal automatisch in ons project worden benut. Plak de onderstaande opdrachten in het tekstvak achter het uitvoerenicoontje en voer het uit. Daarmee worden Whisper en FFmpeg geïnstalleerd. Dit framework zorgt ervoor dat alle denkbare mediabestanden kunnen worden gedecodeerd:

en:

6 Bestand uploaden

We gebruiken enkele bestanden van YouTube (zie kader ‘Bronbestanden voor Whisper’) en geven deze een makkelijke naam om mee te werken, te weten homelab.mp4, zweden.mp4 en energiebesparen.mp4. Om ervoor te zorgen dat je binnen Colab met deze bestanden kunt werken, gaan we ze eerst uploaden. Klik daarvoor op het bestandenicoontje links in Colab. Je kunt de gewenste videobestanden slepen naar het bestandsvenster of uploaden via het uploadicoontje. Zorg er wel voor dat je de originele bestanden ook zelf op je pc hebt. Als je de omgeving verlaat, zal de zogenoemde runtime worden verwijderd. Daarmee verdwijnen ook de geüploade bestanden. Je zult ze de volgende keer opnieuw moeten uploaden. Ook zul je dan overigens weer het correcte runtimetype moeten kiezen en Whisper moeten installeren.

7 Transcripties maken

Het is tijd om Whisper aan het werk te zetten met de gekozen videobestanden. Kijk eerst of je Whisper kunt aanroepen met de opdracht !whisper. Je ziet dan ook de optionele parameters. We beginnen met de Engelse video en kiezen het model medium.en. Klik op + Code en voer de onderstaande opdracht in, waarin we zoals je ziet het bestand en het model specificeren:

Voor de andere video’s gebruiken we --model medium. Dat is een meertalig model met hoge nauwkeurigheid. De taal zal steeds automatisch worden herkend:

en:

Google had zo’n drie tot zes minuten per video nodig om de transcripties te maken. Na afloop kun je de tekstbestanden downloaden, waaronder het ondertitelbestand (.srt). Vanuit het bestandsvenster kun je alle tekstbestanden downloaden naar je pc.

8 Vertalingen maken

Wat vaak onderbelicht blijft, is dat Whisper ook tekst kan vertalen. Dat is heel praktisch als je bijvoorbeeld een YouTube-video hebt die internationaal wordt bekeken. Met de opdracht hieronder kun je een Engelstalige transcriptie maken voor een Nederlandstalige video. Het vraagt waarschijnlijk iets meer nabewerking, maar een groot deel van het werk is in ieder geval al voor je gedaan:

9 Resultaat bekijken

De meeste videospelers zullen automatisch ondertitels laten zien als je het ondertitelbestand in dezelfde map zet en ook dezelfde naam geeft als je videobestand. We zien dat de transcripties steeds van hoge kwaliteit zijn. Versprekingen zijn vaak al gecorrigeerd. De video’s zijn ook veel beter te volgen dan met de automatische transcriptie die YouTube zelf aanbiedt. Ook wordt er veel beter en nauwkeuriger gebruikgemaakt van leestekens. Je zult hooguit nog wat kleine aanpassingen willen maken voor bijvoorbeeld enkele woorden die verkeerd zijn geïnterpreteerd. Dat gaat natuurlijk heel eenvoudig in het tekstbestand zelf, maar er zijn ook tools die je voor srt-bestanden kunt gebruiken.

10 Lokale installatie

Een lokale installatie onder Windows is zeker niet lastig, maar er is best wat software vereist om alles te laten werken. Om te beginnen moet je Python downloaden en installeren. Hoewel een wat oudere versie wordt aangeraden, zijn we geen problemen tegengekomen bij gebruik van de meest recente versie 3.12.0. Let er bij de installatie van Python op dat je een vinkje zet bij Add python.exe to PATH. Je kunt Python dan vanuit elke map op de pc aanroepen. Installeer vervolgens ook Git voor Windows. Bij deze installatie kun je alle standaardopties accepteren. Belangrijk is dat Git daarbij ook weer aan het path wordt toegevoegd.

11 Grafische kaart

Heb je een grafische kaart van Nvidia, dan kun je de berekeningen van Whisper flink versnellen, zoals we verderop zullen laten zien. Hiervoor dien je CUDA te installeren. We gebruiken versie 11.8. Selecteer op de downloadpagina Windows met de architectuur x86_64 en selecteer je versie van Windows (doorgaans 10 of 11). De hier gekozen versie van CUDA wordt ook door PyTorch ondersteund, dat we in de volgende stap gaan installeren. Doorloop de installatie. Kies daarbij in het venster Installatieopties voor Aangepast (geavanceerd). Vink vervolgens alle onderdelen uit behalve CUDA. Zo voorkom je dat onder andere de huidige drivers voor je grafische kaart worden vervangen door een oudere versie.

12 FFmpeg installeren

Je hebt voor een lokale installatie ook het framework FFmpeg nodig. Klik op de downloadpagina op het Windows-icoontje en kies Windows builds from gyan.dev. Download het archief (ffmpeg-git-full.7z) en pak het uit met de ingebakken tool van Windows of bijvoorbeeld 7-Zip. Hernoem de map naar ffmpeg en verplaats deze naar de C-schijf. Het bestand ffmpeg.exe bevindt zich dan in C:\ffmpeg\bin. Deze map gaan we aan het path toevoegen. Druk op Windows-toets+R, vul in sysdm.cpl en druk op Enter. Open dan het tabblad Geavanceerd en kies Omgevingsvariabelen. Dubbelklik op Path. In het venster klik je op Nieuw om een pad toe te voegen. Vul dan in: C:\ffmpeg\bin. Bewaar de aanpassingen en herstart je systeem.

13 PyTorch

Zet alle videobestanden waarvoor je een transcriptie wil maken in een map. Klik dan in Windows Verkenner rechts op een lege plek in de map en kies Openen in terminal. Als het goed is, kun je nu alle opdrachten uitvoeren voor geïnstalleerde toepassingen, zoals: python --version, ffmpeg en git.

We gaan eerst een recente versie van PyTorch installeren dat nodig is voor Whisper. Ga daarvoor naar de website van PyTorch en kies de opties Stable, Windows, Pip, Python en CUDA 11.8. Kopieer het commando. In dit geval ziet dat er als volgt uit:

Voer deze opdracht uit in de terminal. Kom je geen problemen tegen, ga dan verder met de volgende opdrachten:

en:

De installatie van Whisper is nu als het goed is geslaagd, zodat we in de volgende stap transcripties kunnen gaan maken.

14 Whisper starten

De opdrachten voor het maken van de transcriptie verschillen niet van de eerdergenoemde opdrachten in Google Colab:

of:

of:

Als CUDA beschikbaar, is zal automatisch de grafische kaart worden gebruikt. Geholpen door een RTX 3080 grafische kaart is de transcriptie voor de video zweden.mp4 met het model medium binnen drie minuten gereed. Dit ligt in lijn met de snelheid via Colab. Heb je geen grafische kaart of geen CUDA? Dan zal de processor worden gebruikt, wat flink veel extra tijd kost (zie kader ‘Grafische kaart sterk aanbevolen’). Je kunt dat zelf ervaren met de optie --device cpu. Dit forceert het gebruik van de processor. Als CUDA wél beschikbaar is, geeft deze opdracht overigens een waarschuwing.

De smartphones van Poco zijn over het algemeen goed geprijsd als je kijkt naar wat je ervoor terugkrijgt. De nieuwe Poco F8 Ultra heeft een prijskaartje van minimaal 800 euro. Gaat die regel ook hier op?

Want wat voor smartphone kun je precies aanbieden als je er net wat meer geld tegenaan gooit? Dat idee heeft een unieke telefoon opgeleverd, voorzien van een denimlook én een extra subwoofer achterop. Gewaagde keuzes, maar in een wereld waarin smartphones steeds meer naar elkaar toe groeien, en in hun identiteitscrisis meer en meer op iPhones gaan lijken, geen verkeerde ontwikkeling. Alleen daarom al zijn we enthousiast over de Poco F8 Ultra (Blue Denim-uitvoering).

Het helpt dan ook zeer dan de subwoofer daar niet alleen voor de show zit. Dit compacte speakertje geeft geluiden en audio meer dan genoeg ruimte om beter tot hun recht te komen vergeleken met reguliere smartphonespeakers. Weg is dat blikkige geluid, dat nu ruimte maakt voor warmere tonen en een bredere soundstage. Klinkt de muziek perfect? Dat kun je niet verwachten, maar we zijn desondanks onder de indruk van de Bose-luidspreker.

©Wesley Akkerman

Uniek en tof

De Poco F8 Ultra ligt prettig in de hand en voelt solide aan dankzij het aluminium frame. Met 220 gram is hij ook niet overdreven zwaar. Het fauxdenim op de achterkant draagt daarbij merkbaar bij aan de grip, waardoor hij niet snel uit je handen glipt. Juist door dat eigenzinnige uiterlijk is dit zo'n smartphone die je liever zonder hoesje gebruikt, ook al loop je daarmee iets meer risico op valschade.

Het grote amoled-paneel van 6,9 inch stelt evenmin teleur. Met zijn hoge resolutie (1.200 bij 2.608 pixels) en verversingssnelheid (120 Hertz) kom je niets tekort en oogt alles scherp en vlot. Het contrast is breed en zwartwaarden zijn diep, maar de kleuren kunnen soms net even wat flets ogen. Dat valt alleen op in directe vergelijkingen met andere smartphones; de kans is heel klein dat dit je hier iets van merkt in het dagelijkse gebruik of als je een minder geoefend oog hebt.

©Wesley Akkerman

©Wesley Akkerman

Wat je mag verwachten

Ook al draait de Poco F8 Ultra niet op de krachtigste processor die Qualcomm te bieden heeft, in de praktijk merk je daar weinig van. De Snapdragon 8 Elite Gen 5 voelt vlot aan bij multitasking en kan games zonder moeite aan, al moet je er wel rekening mee houden dat de Gen 5 warm (niet heet, gelukkig) kan worden wanneer je high-end spellen speelt. Niets om je zorgen over te maken, je zult hier namelijk je vingers niet aan branden.

Ook de accu stelt niet teleur. Met een capaciteit van 6.500 mAh haal je in veel gevallen probleemloos twee dagen, al hangt dat vanzelfsprekend af van hoe intensief je de smartphone gebruikt. Speel je veel games, dan loopt hij sneller leeg, maar opladen gaat razendsnel. Met een geschikte 100w-lader, die je zelf moet aanschaffen, zit de accu binnen ongeveer veertig minuten weer helemaal vol.

Camera en software

Toch is niet alles goud wat er blinkt. Onder de juiste lichtomstandigheden maakt de Poco F8 Ultra kleurrijke en gedetailleerde beelden. Zoomen is geen probleem en ook de selfiecam lijkt goed om te gaan met verschillende huidtypen. De groothoeklens presteert echter minder goed: kleuren komen minder goed uit de verf en details vallen weg. De avondmodus stelt teleur, met een overdaad aan exposure, gebrekkige kleurenaccuraatheid en trage vastlegging.

Aangezien Poco een dochteronderneming is van Xiaomi, draait het toestel op HyperOS 3.0. De Poco staat daardoor vol met overbodige en dubbele apps, waaronder die van Xiaomi, waarvan je het gros kunt verwijderen. Ook kom je her en der wat reclame tegen. Verder is het besturingssysteem vlot en overzichtelijk, twee eigenschappen die we extreem belangrijk vinden. Je krijgt tot slot 'maar' vier Android-upgrades, evenals zes jaar aan beveiligingsupdates.

Poco F8 Ultra kopen?

Ondanks de kanttekeningen die we plaatsen bij de software- en camera-ervaringen, zijn er eigenlijk weinig redenen om niet voor de Poco F8 Ultra te kiezen. Hij oogt uniek, vindt in de subwoofer een handige toevoeging en voelt stevig aan. De door ons geteste Denim Blue-uitvoering heeft bovendien een faux denimlaagje op de achterkant voor extra grip (wat deze uitvoering wel een paar gram zwaarder maakt dan de Poco F8 Ultra Black). De prijs is misschien gevoelsmatig nog wat hoog, zeker voor dit merk. Maar zakt de prijs richting de 600 euro, dan krijg je een toptoestel dat zijn prijs meer dan waarmaakt en waar je langdurig plezier van hebt.

52137934

Spatial audio, oftewel ruimtelijke audio, belooft een luisterervaring waarbij het geluid niet alleen van links en rechts komt, maar je volledig omringt. Hoewel de marketingkreten je geregeld om de oren vliegen, is de techniek niet in elke situatie even zinvol. In dit artikel ontdek je wanneer ruimtelijke audio je ervaring verrijkt en wanneer je prima zonder kunt.

Vergeet het statische geluid van je oude vertrouwde stereo-set. Met spatial audio krijgt geluid eindelijk de diepte die het verdient. Dankzij slimme algoritmes die de akoestiek van de echte wereld nabootsen, ontsnapt de audio aan je koptelefoon of soundbar. Geluid beweegt vrij door de kamer, waardoor een helikopter in een film ook echt boven je hoofd lijkt te cirkelen. Het is de overstap van een platte foto naar een hologram, maar dan voor je oren.

Bioscoopervaring thuis

De meest logische toepassing voor spatial audio is zonder twijfel de moderne filmervaring. Wanneer je een blockbuster kijkt die is gemixt in formaten zoals Dolby Atmos, komt de techniek pas echt tot leven. Een helikopter die overvliegt of regen die op een dak klatert, krijgt een verticale dimensie die voorheen onmogelijk was met een standaard hoofdtelefoon of een simpele soundbar.

Voor filmliefhebbers die niet de ruimte hebben voor een volledige surround-installatie met fysieke speakers in het plafond, biedt spatial audio een overtuigend en compact alternatief dat de zogenaamde immersie aanzienlijk vergroot.

©ER | ID.nl

Muziek met een extraatje

Voor muziek is het nut van ruimtelijke audio iets genuanceerder en sterk afhankelijk van de productie. Bij klassieke concerten of live-opnames kan de techniek je het gevoel geven dat je midden in de concertzaal zit, waarbij de akoestiek van de ruimte tastbaar wordt. Ook bij moderne popmuziek die specifiek voor dit formaat is geproduceerd, kunnen artiesten creatiever omgaan met de plaatsing van instrumenten of subtiele geluidseffecten.

Toch blijft voor de purist die zweert bij een eerlijke, ongefilterde weergave van een studio-album de traditionele stereomix vaak de voorkeur genieten, omdat spatial audio de oorspronkelijke balans soms onnatuurlijk kan veranderen.

Gaming en de functionele voorsprong

In de wereld van gaming verschuift de waarde van spatial audio van puur esthetisch naar functioneel. Vooral in competitieve shooters is het horen van de exacte positie van een tegenstander een serieus dingetje. Door gebruik te maken van ruimtelijke audio kun je voetstappen boven, onder of achter je nauwkeurig lokaliseren. Dat geeft niet alleen een intensere spelervaring waarbij je volledig wordt opgeslokt door de spelwereld, maar biedt ook een tactisch voordeel dat met standaard audio simpelweg niet te evenaren is. Hierdoor is de techniek voor fanatieke gamers bijna onmisbaar geworden.

Wanneer kun je het beter uitschakelen?

Ondanks de indrukwekkende demonstraties is spatial audio niet altijd de beste keuze. Voor dagelijks gebruik, zoals het luisteren naar podcasts of het kijken van het journaal, voegt de extra ruimtelijkheid weinig toe en kan het de verstaanbaarheid van stemmen zelfs negatief beïnvloeden. Ook bij oudere opnames die door softwarematige kunstgrepen naar ruimtelijk geluid worden omgezet, ontstaat er vaak een hol en onnatuurlijk resultaat. In dergelijke gevallen is een zuivere stereoweergave nog altijd de meest betrouwbare weg naar een prettige luisterervaring.