ElevenLabs Instant Soundtracks dobiera muzykę i efekty dźwiękowe do wgranego filmu

ElevenLabs uruchomił 15 października funkcję Instant Soundtracks w swoim narzędziu ElevenCreative. Wgrywasz gotowy film, a model komponuje do niego muzykę i dodaje efekty dźwiękowe w miejscach, gdzie na ekranie coś się dzieje. Funkcja jest pomyślana dla krótkich filmów i reklam. Szczegóły firma opisała we wpisie na swoim blogu.

Co robi model po wgraniu filmu

Najpierw model pisze do nagrania oryginalną muzykę. Potem ogląda materiał i szuka momentów, które wymagają efektu, na przykład świstu w chwili, gdy na końcu reklamy pojawia się logo. Każdy efekt ląduje w odpowiednim miejscu na osi czasu, bez ręcznego dopasowywania.

Model ma też lepiej trzymać rytm cięć i przejść w krótkich formach. Potrafi zmienić nastrój muzyki między scenami. ElevenLabs podaje przykład: przy szybkiej scenie w tle gra EDM albo R&B, a przy spokojniejszej muzyka przechodzi w gitarę akustyczną.

Nowością jest też muzyka na wzór istniejącego dźwięku. Jeśli film ma już jakąś ścieżkę, model analizuje jej gatunek, tempo, narastanie i instrumenty, a nową muzykę układa w podobnym charakterze. Muzyka nie powstaje wtedy od zera, tylko nawiązuje do tego, co już było w nagraniu.

Poprawki bez zaczynania od nowa

W edytorze wideo ElevenCreative efekty dźwiękowe leżą na osobnych warstwach, niezależnie od muzyki. Możesz dodać kolejne efekty, przesunąć je w czasie, wymienić całą muzykę albo poprawić jeden fragment. Gotowy film eksportujesz prosto z ElevenCreative.

To ważne przy pracy z automatem do udźwiękowienia. Gdy jeden efekt wypadnie nie w tym miejscu, poprawiasz tylko jego, a reszta zostaje.

Gdzie to znaleźć

Funkcja działa od 15 października w trzech miejscach:

Gdzie	Dla kogo
ElevenCreative, edytor wideo w zakładce muzyki	twórcy, którzy montują w przeglądarce
ElevenMusic	osoby, które korzystają z muzycznej platformy ElevenLabs
API ElevenCreative Studio	firmy, które udźwiękawiają filmy we własnych programach

Przez API można wysłać do 10 filmów w jednym zleceniu, razem do 200 MB i do 10 minut nagrań. Muzykę i efekty można też dostać jako osobne pliki w archiwum ZIP, żeby zmiksować je samemu.

We wpisie ElevenLabs nie ma ceny funkcji ani informacji, w których planach jest dostępna. Firma nie pisze też, czy funkcja działa w Polsce, ani nie wymienia żadnych ograniczeń krajowych. Nie podaje, na jakiej muzyce uczono model ani na jakiej licencji można używać wygenerowanej ścieżki w reklamach. Zanim użyjesz muzyki w płatnej kampanii, sprawdź warunki w swoim planie.

Wcześniej ElevenLabs dołożył do swojego studia generowanie wideo, lektora i muzyki w jednym projekcie oraz model głosu Eleven v4. Instant Soundtracks działa w drugą stronę: obraz masz swój, a muzykę i efekty dorabia model.

Jeśli chcesz wypróbować funkcję, otwórz w ElevenCreative edytor wideo w zakładce muzyki i wgraj film. Efekty pojawią się na osi czasu jako osobne warstwy, niezależnie od ścieżki muzycznej.