Szükségem lett egy "zajgenerátorra", ami 3-10 perc közötti ambient zenéket gyárt napi szinten. Mivel még nem tudom hol és milyen formában kerülnek véglegesen felhasználásra, fontos, hogy a zenék jogai mind nálam legyenek, emiatt kiesnek online toolok. (Nem akarok hitvitát kezdeni, az online toolok prompt hasznosítási, előfizetési és szerzői jogi apróbetűs dolgairól.)
Pillanatnyilag idő és gépidő van, ezért a generálásnak nem kell gyorsnak lennie, óra generálás/perc dal simán belefér.
Amik a megkötések:
Kicsi modell legyen. Max. 8GB memóriát tudok allokálni a feladatra.
Ne használjon VRAM-ot és GPU-t.
Egyszerű legyen. No docker image és más mágia.
Szöveg és dal szintézis nem kell.
Legyen faék egyszerű.
Sample használata a zenegenerálásnál előny.
Amit eddig néztem:
Diffrythm. Sajna 8GB VRAM-ot igényel ami nincs. Viszont van huggingface modell.
YuE. Ez még többet kér (24GB). Van neki GPU szegéy változata, de még ez is 6GB felett van.
Audiocraft. Pillanatnyilag ezt nézem, mert adott esetben 30-40s-es loopok is elegek lennének. Sajna, ez is kiesett, mert közepes modelleknél (1.5 B) is 16GB-ot kér.
Más ötlet?
- 19 megtekintés