ID.nl logo
AI zit niet stil: nieuwe toepassingen op het gebied van muziek, video en tekst
© svitlini - stock.adobe.com
Huis

AI zit niet stil: nieuwe toepassingen op het gebied van muziek, video en tekst

Er is de laatste tijd sprake van een ware explosie aan nieuwe toepassingen gebaseerd op kunstmatige intelligentie (AI). In dit artikel laten we je kennismaken met nieuwe tools die voor iedereen gratis beschikbaar zijn.

In dit artikel benoemen we op verschillende gebieden AI-tools die je misschien nog niet kent:

  • Muziek: o.a. MusicGen en Suno AI
  • 3D: Luma AI en Animated Drawings
  • Video: Pika
  • Tekst: Perplexity en SciSpace

Interessant om te lezen: AI: van razendsnelle ontwikkeling tot strikte regulering

We hebben de afgelopen tijd flink wat aandacht besteed aan ChatGPT en de verschillende modellen waarmee je met AI plaatjes kunt maken. Het aantal terreinen waarop je van kunstmatige intelligentie kunt profiteren is alleen nog veel groter en neemt bovendien in rap tempo toe. Meer en meer toepassingen worden ook aangeboden op een manier waardoor ze voor iedereen toegankelijk zijn, bijvoorbeeld als app of online. We hebben een aantal interessante nieuwe ontwikkelingen voor je op een rijtje gezet.

Lees ook: Prompt engineering: zo maak je precies het beeld dat je voor ogen hebt

Muziek

Waar sinds een jaar of drie de AI-modellen om plaatjes mee te maken ons om de oren vliegen, is nu het genereren van muziek een terrein dat volop in beweging is. We hebben eerder al een artikel geschreven over AIVA: Muziek maken? Iedereen kan het met AIVA: de Artificial Intelligence Virtual Artist

De AI van dat systeem zat toen vooral in het slim toepassen van allerlei wetmatigheden op het gebied van compositie. Inmiddels werken de nieuwe modellen meestal op basis van hetzelfde principe als bij de plaatjesmakers. Dat wil zeggen dat allerlei muziek met woorden is beschreven. De AI is vervolgens is getraind met combinaties van geluid en beschrijving.

Plaatjes kun je alleen veel eenduidiger beschrijven dan muziek. De laatste kun je vooral technisch beschrijven, zoals toonsoorten en modulaties, of op basis van instrumentatie. Ook kun je muziek beschrijven op basis van sfeer of stijl. Voor al deze varianten en combinaties daarvan is wel nieuwe AI te vinden. Overigens heeft AIVA (Artificial Intelligence Virtual Artist) zeer recent ook iets dergelijks toegevoegd voor technische beschrijvingen onder de naam text-to-harmony.

MusicGen

Het eerste model dat we willen noemen, is MusicGen van Meta. Met dit programma kun je verschillende soorten beschrijvingen gebruiken. We geven als voorbeeld de prompt Epic power chords in the sequence C, F, C, F minor, G and C in a slow heavy metal ballad. Na ongeveer anderhalve minuut krijgen we dertig seconden muziek die daar keurig aan voldoet. Deze muziek kunnen we bovendien downloaden als wav-bestand.

Alhoewel de geluidskwaliteit best aardig is, missen we wel een kop een staart. Het is muziek die nergens heen gaat. Je kunt wel eerder gemaakte muziek als input gebruiken en het systeem vragen er meer aan vast te breien. Daarnaast kun je MusicGen gebruiken om muziek te arrangeren. Daarvoor upload je een monofoon melodietje dat je bijvoorbeeld maakt op een piano of gitaar. Vervolgens geef je aan voor welke instrumentatie je dat wilt laten arrangeren.

MusicGen maakt muziek op basis van een beschrijving.

Fragment

Mocht je de muziekjes van MusicGen wat aan de korte kant vinden, dan geldt dat helemaal voor Riffusion. Een riff is de benaming voor een korte passage in popmuziek, dus dat is hier ook de bedoeling. Aan de hand van een of twee stilistische beschrijvingen (bijvoorbeeld spanish guitar solo en 50s latin) maakt Riffusion een fragment van zo’n vijf seconden. Dat lijkt weinig, maar als je dat downloadt en slim knipt, kun je dat fragment als bouwsteen gebruiken in muziekeditors die met audio werken.

MusicGen en Riffusion zijn voorbeelden van toepassingen die werken basis van text-to-music. Er zijn ook diensten die kant-en-klare muziekjes voor je maken waarbij jij alleen de criteria kiest. Hier een SoundRaw een voorbeeld van. Dit model maakt muziek volgens de door jou ingestelde instellingen, zoals genre, stemming, gebruiksdoel en instrumentatie. Of je keuzes ook strikt worden opgevolgd, is de vraag.

Enigszins vergelijkbaar is Boomy. Hiermee wordt muziek gemaakt op basis van genre en instrumentatie. Je hebt ook de mogelijkheid om een songtekst toe te voegen, maar daarvoor hebben we een interessanter alternatief in de vorm van Suno AI.

SoundRaw maakt complete instrumentale nummers.

Liedjesbakker

Waar de eerder genoemde tools zich (voornamelijk) richten op instrumentale muziek, is Suno AI een echte liedjesbakker. Via een prompt geef je om te beginnen aan wat voor soort nummer je wilt maken. Een voorbeeld: a cheerful uptempo tune with the feel of summer about a man walking on the beach. Vervolgens krijg je binnen een minuut twee varianten van (het begin van) een nummer dat aan die omschrijving voldoet. Daarbij maakt het systeem zelf een Engelse tekst over het gevraagde onderwerp. De muziek kun je, compleet met zang, downloaden. Je kunt Suno AI ook vragen om meer muziek toe te voegen, al zijn we van die functie nog niet echt onder de indruk.

Echt interessant wordt het wanneer je kiest voor Custom Mode. Het systeem kan daarin een willekeurige tekst voor je genereren, waarbij je zelf een geschikte prompt bedenkt om de muzikale stijl te bepalen. Je kunt ook een eigen tekst invoeren. Dat kan in verschillende talen, ook in het Nederlands. Je kunt je uiteindelijk creatie als audio- en videobestand downloaden. In het videobestand wordt de tekst getoond, zodat je ook buiten Suno kunt meezingen.

Bij Suno AI maak je nummers compleet met zang, zelfs in het Nederlands.

Geen inspiratie?

Er wordt nog genoeg muziek voor jou gemaakt

Ruimtelijk

Een ander gebied waar de ontwikkelingen elkaar in rap tempo opvolgen, is dat van 3D-weergave. We hadden al langere tijd toepassingen die foto’s iets driedimensionaals konden geven, zoals www.leiapix.com. Dat valt alleen in het niet bij de nieuwe mogelijkheden die je bijvoorbeeld vindt bij Luma AI.

Luma AI bestaat uit twee onderdelen. Het eerste heet Genie en kun je omschrijven als text-to-3d. Door het ingeven van een prompt, zoals A statue of a werewolf made of honey, kan de webtoepassing een heus 3D-object voor je maken. Dat kun je vervolgens van alle kanten bekijken.

Voor elke prompt maakt Genie vier objecten. Zit er iets bij dat je bijzonder geslaagd vindt, dan kun je een meer gedetailleerde versie laten maken. Dat kost wel enkele minuten. Eenmaal klaar kun je dit model in verschillende formaten downloaden. Daarna kun je het bijvoorbeeld verder bewerken in het bekende gratis 3D-programma Blender.

In het onderdeel Genie van Luma maak je 3D-objecten op basis van tekst.

Fysieke 3D-producten maken?

Dat doe je met deze 3D-printers

Scanner

Het maken van 3D-objecten op basis van een prompt is handig, maar het is vooralsnog minder ver ontwikkeld dan het maken van plaatjes. Luma AI kent nog wel een ander kunstje: het scannen van bestaande objecten en ruimtes en deze omtoveren tot een interactieve 3D-scène. Hier gaven de Hollywood-studio’s tot voorkort miljoenen aan uit.

Dat scannen gebeurt met een video van het object. In de opnamen bekijk je het object of de ruimte van alle kanten. Daarna maakt Luma er een interactieve scène van die je vrij kunt roteren. Op de site vind je volop voorbeelden, zelfs van complete gebouwen en stadscentra op basis van dronebeelden.

Je kunt dit onderdeel van Luma AI gebruiken via een iOS-app en je kunt je video’s via de website uploaden. Het interactieve formaat van Luma AI gebruikt WebGL. Speciaal voor webontwikkelaars is er de Luma WebGL Library. Daarmee kunnen scènes aan websites worden toegevoegd.

Maak van bestaande voorwerpen een 3D-object met Luma AI.

In beweging

Waar je bij de voorgaande tools alleen het gezichtspunt kon bewegen, gaan de makers van Animated Drawings nog een stapje verder. Met dit online speelgoed maakt AI in hoog tempo allerlei animaties voor je op basis van een enkele tekening van een figuurtje. Dat hoeft geen meesterwerk te zijn, want de toepassing herkent moeiteloos wat kleine kinderen tekenen. Als grootouder kun je ze ongetwijfeld met Animated Drawings vermaken.

Je begint met het uploaden van een foto van de tekening. Daarna identificeert de AI zelf het figuurtje. Er wordt onder meer vastgesteld waar de gewrichten voor de armen en benen zitten. Maakt de AI een fout, dan kun je die handmatig corrigeren. Daarna kan de AI tientallen animaties voor je maken met het figuurtje in de hoofdrol. Deze kun je downloaden als video of delen via mail of sociale media.

Maak leuke animaties op basis van een (kinder)tekening.

Ook leuk: Laat je kinderen creatief kliederen met Tux Paint

Video

Animaties op basis van een tekening zijn natuurlijk leuk, maar je kunt alleen uit voorgebakken bewegingen kiezen. De veelzijdigheid van Pika gaat een stuk verder. Met Pika maak je korte (drie seconden in de gratis versie) videoclips op basis van een tekstprompt.

Alhoewel de resultaten zeker niet tegenvallen, kun je nog meer uit de AI halen door te beginnen met een startafbeelding. Dat kan een foto zijn, een (gescande) tekening of een plaatje dat je met een andere AI hebt gemaakt. Vervolgens geef je in de prompt aan wat voor beweging je wilt zien. Je video’s zijn in een minuutje klaar.

In de gratis versie blijft het bij drie seconden per prompt, maar met een abonnement (vanaf 8 dollar per maand) kun je daar segmenten van vier seconden aan vastplakken. Ook kun je dan de resolutie van video’s vergroten.

Pika kan deze met Dall-E gemaakte glazen gitarist in beweging zetten.

Vraagbaak

Na al dat audiovisuele geweld zouden we bijna vergeten dat er op het gebied van tekst ook heel veel gebeurt. Iedereen kan inmiddels profiteren van het aan ChatGPT verwante Bing Chat, maar waarom zou je je beperken tot één bron? Een interessant alternatief is Perplexity. Hier kun je allerlei vragen stellen, ook in het Nederlands.

Perplexity doet vergelijkbare dingen als Bing Chat. Het kan allerlei vragen beantwoorden, waarbij ook actuele informatie van internet wordt opgehaald. Het kan bekende boeken voor je samenvatten, computercode schrijven en nog veel meer. Ook kan het plaatjes en video vinden die bij je vraag passen.

Een uitstekende chatbot die al je vragen beantwoordt.

Professor

Waar Perplexity een vraagbaak is voor algemene onderwerpen, is SciSpace dat specifiek voor wetenschappelijke kennis. Hier kun je vragen stellen over wetenschappelijke onderwerpen, ook in het Nederlands. Vervolgens citeert SciSpace toonaangevende bronnen over dat onderwerp in de vorm van Engelstalige wetenschappelijke publicaties. Als je dat zware kost vindt, kan SciSpace je ook helpen. Je kunt er namelijk pdf-bestanden (tot 100 MB) uploaden en vervolgens vragen stellen over de inhoud daarvan.

Een andere manier om moeilijke Engelse tekst te bevatten is de functie Paraphrase. Deze kan teksten tot honderdvijftig woorden (vijfhonderd na gratis registratie) herformuleren. Dat kan overigens ook tussen verschillende talen.

SciSpace is je vraagbaak over wetenschappelijke onderwerpen.
Watch on YouTube
▼ Volgende artikel
It Takes Two- en Split Fiction-maker bezig met opnames voor nieuwe game
Huis

It Takes Two- en Split Fiction-maker bezig met opnames voor nieuwe game

Hazelight Studios, de ontwikkelaar van de succesvolle coöperatieve games It Takes Two en Split Fiction, heeft een nieuwe game in ontwikkeling en is op dit moment bezig met de opnames ervoor.

Enige tijd geleden gaf regisseur Josef Fares al aan dat er een nieuwe game in ontwikkeling was bij de studio, maar nu heeft hij op social media een foto geplaatst waarop Fares te zien is met drie acteurs in motion capturing-pakken. Daarmee wordt dus duidelijk gemaakt dat de opnames voor de game in ieder geval al in volle gang zijn.

Overigens is de identiteit van de acteurs niet bekend. Fares houdt zijn arm voor de gezichten van de acteurs. Mogelijk zijn het dus bekende acteurs en wil hij dat nog verhullen, al is dat speculatie. Over speculatie gesproken: het feit dat er drie acteurs te zien zijn, doet sommige fans vermoeden dat de nieuwe game van Hazelight mogelijk met drie spelers tegelijk te spelen valt in plaats van twee, maar ook dat is nog alles behalve bevestigd.

View post on X

Over de games van Hazelight Studios

Hazelight Studios is gespecialiseerd in het creëren van games die coöperatief doorlopen moeten worden. No Way Out, It Takes Two en Split Fiction vergen allen twee spelers. Daarbij draait het om samenwerken, wat hun games een populaire bezigheid maakt voor gamende koppels en vrienden.

It Takes Two bleek een grote hit voor de studio. In het spel spreekt een dochter van een ruziënd stel een vloek over het tweetal uit, waardoor ze minuscuul worden. Ze zullen moeten leren communiceren en samenwerken om zich uit deze hachelijke situatie te redden, terwijl ze als kleine poppen door een uitvergrote versie van hun huis en tuin reizen.

Na het succes van It Takes Two bracht Hazelight het conceptueel vergelijkbare Split Fiction uit. Die game draait om twee schrijvers, Mio en Zoe, die worden ingehuurd om verhalen te creëren voor een technologie die deze verhalen levensecht kan simuleren. De vrouwen worden door het bedrijf achter de technologie echter gevangen in een simulatie, en in de game wordt er constant tussen de twee verhalen van Mio en Zoe geschakeld. Dat levert zowel fantasievolle als futuristische settings op.

Zowel It Takes Two als Split Fiction komen met een Friend Pass. Dat houdt in dat maar één speler de game hoeft te kopen, en de tweede speler gratis online mee kan spelen. De games zijn ook via splitscreen samen op de bank speelbaar.

Watch on YouTube
▼ Volgende artikel
Apple is nu de volledige eigenaar van hitserie Severance
Huis

Apple is nu de volledige eigenaar van hitserie Severance

Apple heeft de volledige rechten op de Apple TV-serie Severance overgenomen, en gaat de serie voortaan binnenshuis produceren.

De eerste twee seizoenen van Severance staan al op Apple TV, maar de serie werd geproduceerd door Fifth Season. Apple Studios was alleen de distributeur. Daar is nu verandering gekomen: Apple heeft iets minder dan 70 miljoen dollar betaald voor de volledige rechten op de serie.

Dat betekent dat het bedrijf de productie van de serie voortaan ook zelf gaat doen, al zal Fifth Season wel als executive producer aangesteld blijven. Ook showrunner Dan Erickson en uitvoerden producent Ben Stiller (die we natuurlijk ook kunnen van vele comedyfilms) blijven hun rollen bekleden, dus aan de kwaliteit van de serie verandert als het goed is niets.

Watch on YouTube

Financiële stabiliteit

Volgens Deadline zou de overname mogelijk gedaan zijn om de productie van de show financieel stabiel te houden. In het tweede seizoen waren de productiekosten naar het schijnt zo'n 20 miljoen dollar per aflevering, en Apple kan door zijn formaat dit beter dragen.

Het plan is dat Severance in totaal vier seizoenen krijgt - al worden een vijfde seizoen en een spin-off ook niet uitgesloten. De opnames van het langverwachte derde seizoen moet aankomende zomer starten. De makers van de serie willen eerst de scripts zover mogelijk afkrijgen, zodat ze bij schrijfwerk van de laatste afleveringen van het seizoen nog relatief goedkoop terug kunnen gaan naar scripts van eerdere afleveringen om wijzigingen aan te brengen waar nodig.

Watch on YouTube

Over Severance

De Apple TV-serie Severance draait om Mark S., die een opmerkelijke kantoorbaan bij het bedrijf Lumon Industries heeft: zodra hij op kantoor komt, weet hij niets van zijn leven buiten kantoor. Wanneer hij klaar is en weer naar huis gaat, weet hij niets van zijn werk. Dat komt door een speciale procedure waardoor de herinneringen van de werkplek in het privéleven gescheiden worden.

Dit concept is de voedingsbodem voor een ingewikkelde en verrassende serie waarin Mark samen met zijn collega's langzaam maar zeker probeert te achterhalen hoe de vork precies in de steel steekt bij Lumon. Zoals gezegd zijn er inmiddels twee seizoenen uitgekomen, die beiden op streamingdienst Apple TV te zien zijn.