MusicLM: Nový nástroj dokáže proměnit text, pískání a bzučení ve skutečnou hudbu

Výzkumníci z Google dali do provozu program umělé inteligence MusicLM, který převádí text na hudbu, ze které se poté vytváří skladby, píše Euro News.

Sami výzkumníci tvrdí, že jejich model „předčí předchozí systémy jak v kvalitě zvuku, tak v dodržování textového popisu“.

Použití umělé inteligence ke generování hudby není nic nového. Nicméně nástroj, který dokáže skutečně generovat přijatelnou hudbu na základě jednoduchého textového pokynu, do dneška neexistoval. S příchodem MusicLM se však vše mění. Výzkumníci ve svém článku vysvětlují různé výzvy, kterým čelí hudební generace umělé inteligence. Zaprvé je tu problém s nedostatkem spárovaných zvukových a textových dat.

Další výzvou při generování hudby AI je, že hudba je strukturována podle časové dimenze, což znamená, že hudební skladba existuje po určitou dobu. Proto je mnohem těžší zachytit záměr hudební stopy se základním textovým titulkem, na rozdíl od použití titulku pro statický obrázek. MusicLM by však mohl tyto překážky zvládnout.

Model také umožňuje zvukový vstup, například ve formě pískání nebo hučení, který pomáhá udávat melodii písně. Ta bude následně zpracována ve stylu, jaký je požadován.

V rámci testování je model trénován na velkém datovém souboru neoznačené hudby spolu s datovým souborem hudebních titulků.