AI zit niet stil: nieuwe toepassingen op het gebied van muziek, video en tekst

We hebben de afgelopen tijd flink wat aandacht besteed aan ChatGPT en de verschillende modellen waarmee je met AI plaatjes kunt maken. Het aantal terreinen waarop je van kunstmatige intelligentie kunt profiteren is alleen nog veel groter en neemt bovendien in rap tempo toe. Meer en meer toepassingen worden ook aangeboden op een manier waardoor ze voor iedereen toegankelijk zijn, bijvoorbeeld als app of online. We hebben een aantal interessante nieuwe ontwikkelingen voor je op een rijtje gezet.

Lees ook: Prompt engineering: zo maak je precies het beeld dat je voor ogen hebt

Muziek

Waar sinds een jaar of drie de AI-modellen om plaatjes mee te maken ons om de oren vliegen, is nu het genereren van muziek een terrein dat volop in beweging is. We hebben eerder al een artikel geschreven over AIVA: Muziek maken? Iedereen kan het met AIVA: de Artificial Intelligence Virtual Artist

De AI van dat systeem zat toen vooral in het slim toepassen van allerlei wetmatigheden op het gebied van compositie. Inmiddels werken de nieuwe modellen meestal op basis van hetzelfde principe als bij de plaatjesmakers. Dat wil zeggen dat allerlei muziek met woorden is beschreven. De AI is vervolgens is getraind met combinaties van geluid en beschrijving.

Plaatjes kun je alleen veel eenduidiger beschrijven dan muziek. De laatste kun je vooral technisch beschrijven, zoals toonsoorten en modulaties, of op basis van instrumentatie. Ook kun je muziek beschrijven op basis van sfeer of stijl. Voor al deze varianten en combinaties daarvan is wel nieuwe AI te vinden. Overigens heeft AIVA (Artificial Intelligence Virtual Artist) zeer recent ook iets dergelijks toegevoegd voor technische beschrijvingen onder de naam text-to-harmony.

MusicGen

Het eerste model dat we willen noemen, is MusicGen van Meta. Met dit programma kun je verschillende soorten beschrijvingen gebruiken. We geven als voorbeeld de prompt Epic power chords in the sequence C, F, C, F minor, G and C in a slow heavy metal ballad. Na ongeveer anderhalve minuut krijgen we dertig seconden muziek die daar keurig aan voldoet. Deze muziek kunnen we bovendien downloaden als wav-bestand.

Alhoewel de geluidskwaliteit best aardig is, missen we wel een kop een staart. Het is muziek die nergens heen gaat. Je kunt wel eerder gemaakte muziek als input gebruiken en het systeem vragen er meer aan vast te breien. Daarnaast kun je MusicGen gebruiken om muziek te arrangeren. Daarvoor upload je een monofoon melodietje dat je bijvoorbeeld maakt op een piano of gitaar. Vervolgens geef je aan voor welke instrumentatie je dat wilt laten arrangeren.

MusicGen maakt muziek op basis van een beschrijving.

Fragment

Mocht je de muziekjes van MusicGen wat aan de korte kant vinden, dan geldt dat helemaal voor Riffusion. Een riff is de benaming voor een korte passage in popmuziek, dus dat is hier ook de bedoeling. Aan de hand van een of twee stilistische beschrijvingen (bijvoorbeeld spanish guitar solo en 50s latin) maakt Riffusion een fragment van zo’n vijf seconden. Dat lijkt weinig, maar als je dat downloadt en slim knipt, kun je dat fragment als bouwsteen gebruiken in muziekeditors die met audio werken.

MusicGen en Riffusion zijn voorbeelden van toepassingen die werken basis van text-to-music. Er zijn ook diensten die kant-en-klare muziekjes voor je maken waarbij jij alleen de criteria kiest. Hier een SoundRaw een voorbeeld van. Dit model maakt muziek volgens de door jou ingestelde instellingen, zoals genre, stemming, gebruiksdoel en instrumentatie. Of je keuzes ook strikt worden opgevolgd, is de vraag.

Enigszins vergelijkbaar is Boomy. Hiermee wordt muziek gemaakt op basis van genre en instrumentatie. Je hebt ook de mogelijkheid om een songtekst toe te voegen, maar daarvoor hebben we een interessanter alternatief in de vorm van Suno AI.

SoundRaw maakt complete instrumentale nummers.

Liedjesbakker

Waar de eerder genoemde tools zich (voornamelijk) richten op instrumentale muziek, is Suno AI een echte liedjesbakker. Via een prompt geef je om te beginnen aan wat voor soort nummer je wilt maken. Een voorbeeld: a cheerful uptempo tune with the feel of summer about a man walking on the beach. Vervolgens krijg je binnen een minuut twee varianten van (het begin van) een nummer dat aan die omschrijving voldoet. Daarbij maakt het systeem zelf een Engelse tekst over het gevraagde onderwerp. De muziek kun je, compleet met zang, downloaden. Je kunt Suno AI ook vragen om meer muziek toe te voegen, al zijn we van die functie nog niet echt onder de indruk.

Echt interessant wordt het wanneer je kiest voor Custom Mode. Het systeem kan daarin een willekeurige tekst voor je genereren, waarbij je zelf een geschikte prompt bedenkt om de muzikale stijl te bepalen. Je kunt ook een eigen tekst invoeren. Dat kan in verschillende talen, ook in het Nederlands. Je kunt je uiteindelijk creatie als audio- en videobestand downloaden. In het videobestand wordt de tekst getoond, zodat je ook buiten Suno kunt meezingen.

Bij Suno AI maak je nummers compleet met zang, zelfs in het Nederlands.

Ruimtelijk

Een ander gebied waar de ontwikkelingen elkaar in rap tempo opvolgen, is dat van 3D-weergave. We hadden al langere tijd toepassingen die foto’s iets driedimensionaals konden geven, zoals www.leiapix.com. Dat valt alleen in het niet bij de nieuwe mogelijkheden die je bijvoorbeeld vindt bij Luma AI.

Luma AI bestaat uit twee onderdelen. Het eerste heet Genie en kun je omschrijven als text-to-3d. Door het ingeven van een prompt, zoals A statue of a werewolf made of honey, kan de webtoepassing een heus 3D-object voor je maken. Dat kun je vervolgens van alle kanten bekijken.

Voor elke prompt maakt Genie vier objecten. Zit er iets bij dat je bijzonder geslaagd vindt, dan kun je een meer gedetailleerde versie laten maken. Dat kost wel enkele minuten. Eenmaal klaar kun je dit model in verschillende formaten downloaden. Daarna kun je het bijvoorbeeld verder bewerken in het bekende gratis 3D-programma Blender.

In het onderdeel Genie van Luma maak je 3D-objecten op basis van tekst.

Scanner

Het maken van 3D-objecten op basis van een prompt is handig, maar het is vooralsnog minder ver ontwikkeld dan het maken van plaatjes. Luma AI kent nog wel een ander kunstje: het scannen van bestaande objecten en ruimtes en deze omtoveren tot een interactieve 3D-scène. Hier gaven de Hollywood-studio’s tot voorkort miljoenen aan uit.

Dat scannen gebeurt met een video van het object. In de opnamen bekijk je het object of de ruimte van alle kanten. Daarna maakt Luma er een interactieve scène van die je vrij kunt roteren. Op de site vind je volop voorbeelden, zelfs van complete gebouwen en stadscentra op basis van dronebeelden.

Je kunt dit onderdeel van Luma AI gebruiken via een iOS-app en je kunt je video’s via de website uploaden. Het interactieve formaat van Luma AI gebruikt WebGL. Speciaal voor webontwikkelaars is er de Luma WebGL Library. Daarmee kunnen scènes aan websites worden toegevoegd.

Maak van bestaande voorwerpen een 3D-object met Luma AI.

In beweging

Waar je bij de voorgaande tools alleen het gezichtspunt kon bewegen, gaan de makers van Animated Drawings nog een stapje verder. Met dit online speelgoed maakt AI in hoog tempo allerlei animaties voor je op basis van een enkele tekening van een figuurtje. Dat hoeft geen meesterwerk te zijn, want de toepassing herkent moeiteloos wat kleine kinderen tekenen. Als grootouder kun je ze ongetwijfeld met Animated Drawings vermaken.

Je begint met het uploaden van een foto van de tekening. Daarna identificeert de AI zelf het figuurtje. Er wordt onder meer vastgesteld waar de gewrichten voor de armen en benen zitten. Maakt de AI een fout, dan kun je die handmatig corrigeren. Daarna kan de AI tientallen animaties voor je maken met het figuurtje in de hoofdrol. Deze kun je downloaden als video of delen via mail of sociale media.

Maak leuke animaties op basis van een (kinder)tekening.

Ook leuk: Laat je kinderen creatief kliederen met Tux Paint

Video

Animaties op basis van een tekening zijn natuurlijk leuk, maar je kunt alleen uit voorgebakken bewegingen kiezen. De veelzijdigheid van Pika gaat een stuk verder. Met Pika maak je korte (drie seconden in de gratis versie) videoclips op basis van een tekstprompt.

Alhoewel de resultaten zeker niet tegenvallen, kun je nog meer uit de AI halen door te beginnen met een startafbeelding. Dat kan een foto zijn, een (gescande) tekening of een plaatje dat je met een andere AI hebt gemaakt. Vervolgens geef je in de prompt aan wat voor beweging je wilt zien. Je video’s zijn in een minuutje klaar.

In de gratis versie blijft het bij drie seconden per prompt, maar met een abonnement (vanaf 8 dollar per maand) kun je daar segmenten van vier seconden aan vastplakken. Ook kun je dan de resolutie van video’s vergroten.

Pika kan deze met Dall-E gemaakte glazen gitarist in beweging zetten.

Vraagbaak

Na al dat audiovisuele geweld zouden we bijna vergeten dat er op het gebied van tekst ook heel veel gebeurt. Iedereen kan inmiddels profiteren van het aan ChatGPT verwante Bing Chat, maar waarom zou je je beperken tot één bron? Een interessant alternatief is Perplexity. Hier kun je allerlei vragen stellen, ook in het Nederlands.

Perplexity doet vergelijkbare dingen als Bing Chat. Het kan allerlei vragen beantwoorden, waarbij ook actuele informatie van internet wordt opgehaald. Het kan bekende boeken voor je samenvatten, computercode schrijven en nog veel meer. Ook kan het plaatjes en video vinden die bij je vraag passen.

Een uitstekende chatbot die al je vragen beantwoordt.

Professor

Waar Perplexity een vraagbaak is voor algemene onderwerpen, is SciSpace dat specifiek voor wetenschappelijke kennis. Hier kun je vragen stellen over wetenschappelijke onderwerpen, ook in het Nederlands. Vervolgens citeert SciSpace toonaangevende bronnen over dat onderwerp in de vorm van Engelstalige wetenschappelijke publicaties. Als je dat zware kost vindt, kan SciSpace je ook helpen. Je kunt er namelijk pdf-bestanden (tot 100 MB) uploaden en vervolgens vragen stellen over de inhoud daarvan.

Een andere manier om moeilijke Engelse tekst te bevatten is de functie Paraphrase. Deze kan teksten tot honderdvijftig woorden (vijfhonderd na gratis registratie) herformuleren. Dat kan overigens ook tussen verschillende talen.

SciSpace is je vraagbaak over wetenschappelijke onderwerpen.

0

Powered by