Tehát mi ez?
A fejlesztő Modartt nevű cég. Versenyt szervezett a felhasználóknak, amiben yt videót kellett beküldeni dec 31-ig. Tulképp minden évben van ilyen verseny, de eddig nem is tudtam róla. Itt lehet megtekinteni az idei műveket: https://forum.modartt.com/viewtopic.php?id=12795
Az alábbi AI-val készül videót is erre a versenyre nevezték be:
Frederic Chopin Reviews Pianoteq - Contest Pianoteq 2025
Eredményhirdetés Februárban lesz majd. De sztem ez lesz a nyertes.
Kezdjük azzal, h az ötlet eredeti, szellemes. Mán h Chopin a XIX. századból értékel egy XXI századi virtuális zongorát :D. És h egy festmény így megelevenedjen szintén eléggé mellbevágóan szokatlan kezdet. Ti.: akkoriban ilyen szalonokban, magánházaknál folyt a társadalmi élet, és Chopin gyakran játszott ilyen környezetben. Olvastam, h nagyon halkan játszott egyébként a zongorán, szal egy szalon atmoszférája mind a zenéjének mind az előadási stílusának ideális volt.
A videóban mondja ( a saját zenéjéről [ill. egyben a Pianoteqről - trükkös :-D]) : Harmonies dissolve. They do music, not blur. A clear melancholic mist.
Az fogott meg a videóban, hogy átjön belőle az a szenvedély, ami minden zongorarajongót hajt, legyen az akár két évszázaddal korábbi zeneszerző, vagy modern szoftverfejlesztő, vagy lelkes felhasználó. A hagszer körül képződik meg a kontextus. Ami mint tárgy így némiképpen fetisizálódik, de a lényeg nem a tárgy maga, hanem a szenvedély, aminek a zongora, mint tárgy [v hát szinte "blasszfémiával": a szoftver] csak a jelképe.
Kiváncsi leszek melyik lesz végül a győztes! Nem lehet így szavazni v. ilyesmi. Önkéntesekből álló zsüri fog majd dönteni. Pár 100 Eur a jutalom, nem olyan nagy összeg, inkább jelképes. Nem a pénzről szól.
- BehringerZoltan blogja
- A hozzászóláshoz be kell jelentkezni
- 379 megtekintés
Hozzászólások
hat ez az AI video nagyon gagyi. ennel lenyegesen jobbakat (technikai szempontbol) lehet ma mar csinalni!
a Pianoteq-t ismerem, a covid alatt probalkoztam zongorazni tanulni, egy m-audio midi billentyuzettel, akkoriban vagy 10 fele piano vst-t kiprobaltam, koztuk ezt is, de ha jol emlexem a magas hangok nem szoltak valami jol rajta. volt valami magyar fejlesztesu fizetos (talan 30 nap probaidovel) is, az nem (csak) hangmintakkal dolgozott hanem fizikai szimulacioval, az meglepoen jo volt, de nem emlexem a nevere es most nem is talaltam rakeresve :(
- A hozzászóláshoz be kell jelentkezni
hat ez az AI video nagyon gagyi.
Na de az h a video mutatja a Chopin kezét ahogy játszik a zongorán, az gagyi? Én nem értek az AI-hoz, de azért sztem ez elég WOW! Vagy mire gondolsz gagyi alatt? H nem elég élethű?
"antiegalitarian, antiliberal, antidemocratic, and antipopular"
- A hozzászóláshoz be kell jelentkezni
az a zongorazo kez az pont nem ai, ai-vel nem lehet fel perces videokat csinalni (6-10 sec max), foleg ilyen minosegben. max ranyomtak valami filtert. a tobbi meg iszonyu gagyin nez ki, fos felbontas, nem elethu, darabos mozgasok stb.
- A hozzászóláshoz be kell jelentkezni
Hát lehet h igazad van. Kevésbé ismerem a lehetőségeket - kő alatt élek. Mindezek ellenére a Modartt helyében rögtön megbiznám az illetőt kreatív anyagok készítésével, mert sztem ötletes/szellemes/újszerű/nagy-hatású koncepciót prezentált. Lehet h csak nincs megfelelő számítógépe a szerzőnek az élvonalbeli technikai színvonal eléréséhez. Hát ki tudja? De az pótolható - a kreativitás viszont nem, azzal születünk.
"antiegalitarian, antiliberal, antidemocratic, and antipopular"
- A hozzászóláshoz be kell jelentkezni
Amúgy az abszolút jellemző, h kombinálva van a hangminta és a fizikai modellezés. Esetek 99%-ban ez van. De van olyan is h szigorúan csak minta. Ugye az a nagy fájdalom, h ezeket jellemzően windows vagy mac -re csinálják és natív linuxos szinte nincs is. (Speciel Pianoteq pont van linuxra is - meg azért akadnak mások is.) És ugye windowst nem használok igazából, és a virtuális zongorák azért drágák ahhoz, tömeges vásároljak be belőlük. Szal az utóbbi időben azzal szórakozok, h mindenféle módon beszerzett windowsos virtuális zongorákból kinyerjem a hangmintákat és linuxon használható virtuális hangszert csináljak belőlük. Már vagy tucat ilyen migráláson vagyon túl. Eleinte nagyon nem sikerültek, de most már kezdenek jók lenni. Tulképp az igazi érték a hangminta. Ahhoz nem tudnék hozzájutni egyébként. Ezt nem lehet házi megoldásokkal elintézni. Azaz lehet, jó gyakorlat meg móka, biztos rengeteget lehet így tanulni, csak használható eredménye nem lesz. Studió körülmények kellenek hozzá és nem rövid időre. Meg hát eleve egy valódi hangszer ami úgy alsó hangon is 50 millába kerül, szal nem kölcsönzik csak ki úgy bárkinek. Meg hát csillagászati összegekbe kerülő audió cuccok, mikrofonok, pianorobot - ezt pl le kell gyártani. Szal ezek olyan feltételek h sokszor még azok a cégek akik kifejezetten ilyen virtuális hangszerek előállításából élnek sem mindig tudják teljesíteni. Pianorobotja - ami nyomkodja a billentyűket a felvételnél - is csak a legnagyobbaknak van. A kisebbek általában azt csinálják h megpróbálnak olyan igazi hangversenyzongorát szerezni, amihez van midi támogatás meg van benne egyféle pianorobot ami nyomkodja billentyűket. A nagy zongoragyáraknak vannak ilyen termékeik: talán láttál már, h midin lehet vezérelni és közben mozognak a billentyűk is úgy olyan mintha tényleg játszana rajta valaki. Na és akkor abból autentikus hang jön, tehát teljesen egyezik a a beépített midi nélküli eredeti zongora hangjával. És ha sikerül ilyen zongorát szerezniük, akkor annak egyszerűbb felvenni a hangját 30+ különöző leütési erőséggel minden billentyűre. Közben vagy tucatnyi mikrofonnal van körbevéve a zongora meg a helyiség. És akkor fel kell venni alapesetben az összes billentyűt összes leütési erőséggel. Több napot is igénybe vehet. Aztán ha valóban autentikus hangzást akarnak, akkor lenyomott sustain pedállal is ugyan ez - máris megkétszereződik a studióbérlés költsége. Az megint több nap. De közben olyan dolgok tudnak bezavarni, h esik be napsugár az ablakon - mán ha van a heylségnek ablaka. Ugyanis nap felmelegíti a zongora valamely részét, ott alakváltozás történik ami növelheti vagy épp csökkentheti a feszültséget ami húrokban jelen van és így akkor elhangolódik. Tehát vagy újra hangolni kell v. éjjelre időzíteni a felvételt. Extrém esetben akár tologatni a helységen belül a zongorát a nap elöl - ha szorít az idő akkor sokmindent bevetnek :-O. Aztán ha meg vannak a minták végül általában 96 kHz/24 bit veszik fel így sok TB nyers wav lesz, akkor azokat lehet babusgatni sok hónapokon keresztül mire összeállítható lesz belőlük a virtuális hangszer. Szal melós dolog ám ez nagyon! És nem biztos h jól sikerül végül. Asszem érthető miért a hangminta a legnagyobb érték.
"antiegalitarian, antiliberal, antidemocratic, and antipopular"
- A hozzászóláshoz be kell jelentkezni
igen azt kb sejtettem en is hogy nem egyszeru legyartani a sok hangmintat, de nekem pont a csak hangmintaval operalok hangja nem tetszett. nem biztos, hogy ha egyszerre szol tobb hang, az ugyanolyan a valosagban mintha kulon felveszik oket es egyszerre lejatsszak. pl egy erosebb mely hangtol berezonal az egesz zongora es ez a parhuzamosan megszolalo magasra is hatassal lesz.
mai technikai szinten megoldhato kene legyen az egesz zongorat lemodellezni, ahogy a raytracing tudja a fenyt szimulalni, biztos van valamilyen audiotracing modszer, ahogy a hanghullamokat szimulaljak a huroktol kezdve a zongora akusztikajaig. vagy csak fognak X db hangmintat es beletoljak egy ugyes AI-ba ami kikopi a modelt ami utana barmilyen hangmintat elo tud allitani...
- A hozzászóláshoz be kell jelentkezni
A jelenség a sympathetic resonance minden húros hangszerben jelen van gitár, hárfa, zongora stb. Épp ezért veszik fel lenyomott pedállal is mégegyszer az összes billentyűt, h autentikus legyen ennek a rezgésnek a hangja. A lenyomott pedál, sustain pedál elemeli a dampert (~féket) mind a 88 billentyűhöz tartozó húrról és azok szabadon rezeghetnek. Ilyenkor ha leütök egy billentyűt akkor nem csak annak a húrjai (egy billentyűhöz több húr tartozik) kezdenek rezegni, hanem azon húrok is amik a felharmonikusai az adott hangnak - de ez nagyon bonyi h milyen húrok jönnek még rezgésbe ilyenkor. És természetesen ezen húrrezgések is szinezik a hangzást. Erre figyelve van természetesen. A Pianoteq-et egyébként fel lehet használni arra is, h ha nem lennének felvéve ilyen rezgések, pl. a virtuális hangszerek demó verzióinál szokott lenni ilyen limitáció, akkor a Pianoteqből kiszedhetők ezen rezgéseknek a hangjai. Ez zseniális húzás egyébként. Majd lehet írok róla, h kell ezt csinálni.
#közben kerestem róla videót (fejhallgatóval célszerű hallgatni) ~7 perc :
Add resonance modeling to your favorite sample libraries with Pianoteq 8
Ezt meg lehet csinálni linuxon is Ardourban.
Az AI érdekes lehet a virtuális hangszerek szempontjából. Egyenlőre úgy tűnik nincs még áttörés, de bármikor robbanhat a dolog. Ha valaki elkezdi használni, akkor az egész ipar rámozdul majd.
Kawai Legend - ez egy teljesen mintavételzett zongora.
Összehasonlító videó első része. Azé a yt csatorna aki csinálta a virtuális hangszert. Sztem nagyon jól szól. (amivel összehasolítják az pedig legnagyobb léptékű ilyen virtuális hangszereket gyártó cég produktuma VSL)
Premier Sound Factory KAWAI LEGEND vs VSL Synchron Fazioli F308 test
"antiegalitarian, antiliberal, antidemocratic, and antipopular"
- A hozzászóláshoz be kell jelentkezni
Közben belefutottam Szántó Gábor videóiba, ő egy olyan cégben érdekelt ami AI technológiát használ audió feldolgozáshoz - nagyon érdekes amúgy: Mi jön a DSP után? (~11 perc)
És tulképp ez már korábban is felmerült bennem, de hát eddig teljes képtelenségnek látszott:
Rengeteg stúdióminőségű zongorafelvétel áll rendelkezésünkre, hisz zongoristák részben ebből is élnek, h lemezfelvételeket készítenek. A zeneirodalom hatalmas része meg van szólaltatva zongorán és van róla stúdió minőségű felvétel. Ez hatalmas adatbázis, amiből ha kinyerhetőek lennének zongora egyes hangjai valamilyen szoftveres módszerrel, akkor ezekből lenne kilalakítható a virtuális hangszer, és nem kéne készítőknek kibérelhető koncertzongorára vadászniuk meg csillagászati összegeket költeni a stúdió/felszerelés használatára - ami radikálisan csökkentené a költségeket.
Ugye a probléma a lemezfelvételeken, h a hangok egyszerre szólalnak meg. Viszont tudjuk h milyen hangok szólalnak meg egyszerre, hisz a kotta ismert. Vagyis azok a hangzást befolyásoló tényezők amikkel a zongorista operálni tud (milyen hangok szólnak, milyen erős leütés tartozik hozzájuk, mi lehet az aktuális pedál állása stb), a kotta illetve a hangzás alapján ha nem is 100%-ban de nagy mértékben azonosítható. Nyilván van egy nagyon markáns emberi/művészi tényező is, h a zongorista értelmezi a darabot, nem pusztán egy lejátszó gép a szerepe. (tulképp ez is egy érdekes dolog, most nem tartozik ide, csak megemlítem h komoly zenefilozófiai fejtegetések vanak annak kapcsán h mára az eröltetett kottahűség miként öli meg zene eredeti funkcióját). Tehát van egy ilyen emberi tényező a felvételek során, ami komoly kihívást jelenthet a hangzást értelmező algoritmusoknak.
A fenti videóból azonban látszik, h már most is van olyan AI technológia amivel két együtt éneklő énekes (Pavarotti és Bocelli) hangját el tudják választani a felvételről, akár masztereléshez is megfelelő minőségben. Így nem tűnik elérhetetlennek, h a különböző zongorák billentyűinek hangjait is kinyerjék hasonló módszerrel a végtelen rendelkezésre álló hangfelvételből.
"antiegalitarian, antiliberal, antidemocratic, and antipopular"
- A hozzászóláshoz be kell jelentkezni
szerintem tulgondolod ezt az egeszet. nem arra kell az AI-t hasznalni, hogy hangfelvetelekbol kiszedje es szetvalassza neked a zongora hangmintakat, hanem hogy tanulja meg a zongora mukodeset, fizikajat, hangzasat! ahogy mar 1-2 eve is volt olyan AI, hogy beaadtal szoveget es megzenesitette meglepoen jol.
ahogy most is tud megadott muvesz stilusaban kepeket generalni, ugy megtanulhatna megadott muvesz stilusaban zongorazni!
- A hozzászóláshoz be kell jelentkezni
Pedig azt hittem érdekesnek fogod találni - na mind1!
A hangok szétválasztása egy audió jelből valós és hasznos feladatnak, míg h valamely szerző stílusában írjon egy zenét az AI, az eléggé öncélúnak és értelmetlennek tűnik. Szóval eleve van egy ellenérzése az embernek az AI-al kapcsolatban, de végre talál valamit amihez köze van és értelmesnek is tűnik (azaz nem helyettesíti az emberi munkát, hanem megold valamit, amit eddig nem tudtunk), de arra meg azt írod, h na az AI-t nem erre kell használni. Puff.
A zongora fizikájának a megtanulása szép AI feladat, de amit erről a fizikáról tudunk és értelmes keretek meg lehetőségek közt alkalmazni is lehet az benne van a Pianoteqben. De a Pianoteq is elment már abba az irányba h más hangszerek hangját hozza be a szoftverébe. Namost az üzletpolitikai szempontok ilyen formán való előtérbe kerülése is arra mutat rá, h elfogyott az amit a zongora modellezésbe bele tudtak tenni, értve ez alatt akár olyasmit is, h tudnának még nagyságrendekkel élethűbb hangzást is produkálni akár, de ahoz a PC, amin a szoftver fut, már nem alkalmas eszköz. Tehát a vertikális és mélységi fejlesztés a zongorával kapcsolatban már "nem éri meg" a befektetett munkát, inkább más hangszerek felé fordulnak (más hangszerek egyébként jelentősen egyszerűbbek a zongoránál modellezés szempontjából, a zongora a legösszetettebb). Továbbá a fizikai modellezés alapja is a mintavétel. Vagyis az eredeti zongora hangjairól való megfelelő felvétel ebben az esetben sem nélkülözhető, hisz az szolgál referenciaként, ahhoz kell igazodnia a bonyolult algoritmusok által előállított hangnak. Az AI sem fogja tudni egy 1800-as években készült Pleyel zongora fizikáját megtanulni, anélkül h rendelkezésre ne állnának egy ilyen zongora hangjai. Vagyis megint ott vagyunk, ami az elsődleges probléma h rendelkeznünk kell a megfelelő hangmintákkal. Így az elsődleges feladat az AI számára pont az lehetne, h a zongoradarabok nagymennyiségű felvételeiből kinyerje a hangmintákat valahogy. És ez jelentősen bonyolultabb annál, minthogy szét tudja választani az egyszerre megszólaló hangokat a kotta segítségével, hisz a felvételek terheltek - nem csak az előadók eltérő interpretációival - hanem a hangzást befolyásoló olyan tényezőkkel is, mint a felvétel során hova és milyen mikrofont helyeztek el; stúdióban vagy koncertteremben történt a felvétel; illetve egy azon zongoragyártó egyazon típusa is máskép szól, ha az egyik fiatal másik meg egy idősebb példány - bár akár fiatal és fiatal között is lehet különség. Tehát az egy zongora típushoz tartozó minták is nagy szórást mutatnának és ezekből kéne felismernie és beépítenie a modeljébe azon jellegzetességeket, amik alapján előáll a Steinway, Yamaha, Kawai stb hangzás. (A valóságban ezen eltérő és egyfelöl a márkára, de ezen tovább menve egy adott zongora típusra a márkán belül jellegzetes hangzás nüanszokból áll elő. A hosszú-húr-rezgés az egyforma mindenhol, de aztán ez a rezgés annak amiplitudójától függűen más-más részeit hozza rezgésbe a zongorának - ami függ az összeépítésre került alkatrészek méreteitől, anyagjellemzőítől stb. - és végső soron ezen alkatrészek rezgése befolyásolja és állítja elő a kívánatos jellegzetes hangzást. A vájtfülüek ez alapján ismerik fel h ami szól éppen az egy Steinway zongora, illetve azon belül B,C,D modell/tipus pl. )
Nem hiszem h én gondolnám túl. Itt a feladat az, ami igen bonyolult.
"antiegalitarian, antiliberal, antidemocratic, and antipopular"
- A hozzászóláshoz be kell jelentkezni
Érdekes, köszi a megosztást! :)
- A hozzászóláshoz be kell jelentkezni
Csak harmadik lett sajnos! Hát az első kettőhöz nekem nincs különösebb nyitottságom, végig sem tudom nézni őket.
Itt az eredmény: https://forum.modartt.com/viewtopic.php?id=13037
"antiegalitarian, antiliberal, antidemocratic, and antipopular"
- A hozzászóláshoz be kell jelentkezni