Meta har introducerat AudioCraft – en generativ AI med öppen källkod, specifikt avsedd för olika typer av ljud. Koden kan skapa både musik och andra typer av ljud utifrån användares beskrivande text. AudioCraft består av tre modeller: MusicGen, AudioGen och EnCodec. Tillkännagivandet påpekar att musikskaparen har tränats på musik som antingen ägs av företaget eller har licensierats officiellt.

Meta föreställer sig att professionella musiker kan utforska idéer utan ”behöva spela en enda ton på ett instrument”. Varför musiker nu skulle vilja det – de är musiker som bör njuta av att spela. Meta nämner även att indiespelsutvecklare kan skapa realistiska ljudeffekter och omgivningsljud på en begränsad budget, eller att småföretag kan skapa egna soundtrack till sina Instagram-inlägg.

Vi har infogat några av Metas exempel nedan. Fler detaljer finns i Metas blogginlägg.

”Whistling with wind blowing”

”Sirens and a humming engine approach and pass”

”Pop dance track with catchy melodies, tropical percussions, and upbeat rhythms, perfect for the beach”

”Earthy tones, environmentally conscious, ukulele-infused, harmonic, breezy, easygoing, organic instrumentation, gentle grooves”

Imagine a professional musician being able to explore new compositions without having to play a single note on an instrument. Or an indie game developer populating virtual worlds with realistic sound effects and ambient noise on a shoestring budget.

Or a small business owner adding a soundtrack to their latest Instagram post with ease. That’s the promise of AudioCraft — our simple framework that generates high-quality, realistic audio and music from text-based user inputs after training on raw audio signals as opposed to MIDI or piano rolls.