MusicLM to system generowania tekstu na muzykę.

Nowe narzędzie sztucznej inteligencji (AI) od Google może teraz generować muzykę dowolnego gatunku na podstawie podpowiedzi tekstowych, a nawet może przekształcić gwizdaną lub nuconą melodię w inne instrumenty. Według Google Research technologia o nazwie MusicLM to system generowania tekstu na muzykę. Działa poprzez analizę tekstu i rozszyfrowanie skali i złożoności kompozycji.

„Wprowadzamy MusicLM, model generujący muzykę o wysokiej wierności z opisów tekstowych, takich jak„ uspokajająca melodia skrzypiec wspierana przez zniekształcony gitarowy riff ”- czytamy w artykule badawczym. „Pokazujemy, że MusicLM może być uwarunkowany zarówno tekstem, jak i melodią, ponieważ może przekształcać gwizdane i nucone melodie zgodnie ze stylem opisanym w podpisie tekstu” – dodał.

Zgodnie z artykułem, MusicLM został przeszkolony na zbiorze danych zawierającym 280 000 godzin muzyki, aby nauczyć się generować spójne piosenki z opisów tekstowych i wychwytywać niuanse, takie jak nastrój, melodia i instrumenty. Jego możliwości wykraczają poza generowanie krótkich klipów piosenek. Badacze z Google wykazali, że system może opierać się na istniejących melodiach, nuconych, śpiewanych, gwizdanych lub granych na instrumencie.

Co więcej, zgodnie z badaniami, MusicLM może również wziąć kilka opisów zapisanych w sekwencji – na przykład „czas na medytację”, „czas na przebudzenie”, „czas na bieganie” i „czas na 100%” – i stworzyć rodzaj melodycznej „historii” lub narracji trwającej do kilku minut. Można go również poinstruować za pomocą kombinacji obrazu i podpisu lub wygenerować dźwięk, który jest „odtwarzany” przez określony typ instrumentu w określonej grze.

Przeczytaj także | Teleskop Hubble’a NASA odkrył czarną dziurę skręcającą gwiazdę w kształt pączka

Warto zauważyć, że Google nie jest pierwszą firmą, która to zrobiła. zgodnie z TechCrunch, projekty takie jak Jukebox lub Riffusion firmy OpenAI, sztuczna inteligencja, która może generować muzykę poprzez jej wizualizację, oraz własny AudioLM firmy Google spróbowały swoich sił. Jednak ze względu na ograniczenia techniczne i ograniczone dane treningowe żaden nie był w stanie wyprodukować piosenek o szczególnie złożonej kompozycji w wysokiej wierności. Dlatego naukowcy uważają, że MusicLM jest prawdopodobnie pierwszym, który może.

„MusicLM przedstawia proces warunkowego generowania muzyki jako hierarchiczne zadanie modelowania sekwencja do sekwencji i generuje muzykę z częstotliwością 24 kHz, która pozostaje spójna przez kilka minut. Nasze eksperymenty pokazują, że MusicLM przewyższa poprzednie systemy zarówno pod względem jakości dźwięku, jak i zgodności z opis tekstowy” – napisali badacze Google w artykule.

Ale MusicLM nie jest bezbłędny. Na początek niektóre z przykładowych utworów muzycznych, które Google opublikowało w swoim artykule badawczym, mają dla nich zniekształconą jakość. Chociaż system może technicznie generować wokale, często są one syntetyzowane i brzmią jak bełkot TechCrunch. Inną wadą jest czasami skompresowana jakość dźwięku, będąca produktem ubocznym procesu szkolenia.

Przeczytaj także | Amerykanka znaleziona martwa 50 lat temu została zidentyfikowana przez finansowany przez tłum test DNA

Badacze Google zwrócili również uwagę na wiele wyzwań etycznych związanych z systemem takim jak MusicLM, w tym tendencję do włączania materiałów chronionych prawem autorskim z danych treningowych do generowanych utworów. Podczas eksperymentu naukowcy odkryli, że około 1 procent muzyki generowanej przez system było bezpośrednio replikowane z utworów, na których był szkolony. Próg ten jest najwyraźniej wystarczająco wysoki, aby zniechęcić badaczy Google do wypuszczenia najnowszego systemu AI w jego obecnym stanie.

„Zdajemy sobie sprawę z ryzyka potencjalnego sprzeniewierzenia kreatywnych treści związanych z przypadkiem użycia” – napisali współautorzy artykułu. „Zdecydowanie podkreślamy potrzebę dalszej pracy nad przeciwdziałaniem zagrożeniom związanym z generowaniem muzyki” – dodali.