Filmek szinkronizálása AI-al

Mesterséges Intelligencia: Prolog, Lisp

Aki próbált már filmeket szinkronizálni AI-al megoszthatná a tapasztalatait, illetve hogy milyen szoftvert használt.

  • 1924 megtekintés

( fezo | 2024. 04. 27., szo – 20:25 )

Inkább feliratozni kellene, akkor többen tudnának pár szót kinyögni egy idegen nyelven.

Tegnap szálltunk meg egy Bp-től 25km-re lévő faluban. Utánunk egy német úriember próbálta elmyagyarázni, előbb németül majd angolul, hogy ő a Booking-on foglalt egy szobát. A tulaj csak a vállát vonogatta, hogy ő sem angolul sem pedig németül nem tud egy mukkot sem. Végül a német megunta, elővette a telefonját és megmutatta a foglalást.

Bocs az off-ért.

Minden hulla a Mount Everesten valamikor egy nagyon motivált ember volt.

Ha mélyebben "merülsz" egy nemzet átlagai közé, - nem nagyvárosokban keresgélsz, - akkor Eu-ban másutt sem jobb a helyzet. Görögöknél, dél-olaszoknál spanyoloknál, portugáloknál, franciáknál is, de pl. a vidéki egy-két milliós kínai kistelepüléseken is hasonlóan, sokan csak az anyanyelvüket beszélik. - Nem is hajlandók mást nyelvet megtanulni. (Sok utazó panaszkodik erről.)

Egyébként meg, sokan ha megfeszülnek, akkor sem képesek nyelveket megtanulni, egyszerűen nem elég hozzá az agyuk.

Tudom ez azoknak hihetetlenül hangzik, akik egy-kéthetes külföldi nyaralás vége felé már egész mondatokat használnak a fogadó ország nyelvén. - (Kellenek oda processzorok és a magas órajel is. Az átlagos agyhoz képest a többszörös, jól szervezett, rendes sávszéllel  kapcsolódó memória menyiségéről még nem is szóltam...)

:)

> Görögöknél

2004-ben jartuk be Gorogo-t, akkor tapasztaltam en is ezt, de megtudtuk hogy mar tanuljak kotelezoen iskolaban az angolt, igy aki akkoriban volt 30 evnel fiatalabb az tud angolul. es ok tenyleg tudtak is valamennyire, csak az idosebbek nem. de tekintve hogy ez 20 eve volt, gondolom ma mar az 50 evesnel fiatalabbak tudnak akkor, hacsak nem szunt meg az angol oktatas azota.

> nem elég hozzá az agyuk.

en inkabb ugy fogalmaznek, hogy masra hasznaljak fel az agyukat.

kezdetben kb mindnekie ugyanakkora, de nem mindegy ki mivel tolti meg. van aki tokeletesen beszel 5 nyelven de nem tud 2 szamot osszeszorozni fejben, vagy eldonteni melyik a nagyobb, 0.5 vagy 2/3...

Ez igaz, de azért Európában elség sok helyen megfordultam és a vendéglátó ipraban azért mindenütt tudtak pár szót angolul, még a legelrejtettebb faluban is. Sokszor még melepetés is ért, olyan ember (pl pásztor Görögországban vagy szállodai kertész Franciaországvban) szólalt meg irigyelni való angol nyelven, hogy tátott szájjal maradtam. Persze ehhez az is hozzá járul, hogy te is tudj valamit, ha mást nem köszönni, a helyiek nyelvén.

Filmet nézni meg csakis felirattal. Volt pár emlékezetes magyar szinkron mint pl. Ford Fairlane klandjai vagy pár Bud Spencer film, de a magyar szinkron csapnivaló minőségű és főleg a női szereplők eróltetett vihogása nagyon idegesitő. Nézd meg a románokat, majd mindenki beszél alap fokon angolul, hiszen náluk felirattal megy minden műsor. 

Minden hulla a Mount Everesten valamikor egy nagyon motivált ember volt.

> Filmet nézni

akkor az Filmet olvasni

> hiszen náluk felirattal megy minden műsor.

ez urban legend hogy azert beszelnek egy orszagban angolul mert feliratosak a filmek. pont forditva van, azert feliratosak, mert a legtobben beszelik a nyelvet, es nincs kifizetodo igeny a szinkronra. ahogy a muveszfilmeket nalunk se szinkronizaljak, mert keves embert erdekel, nem eri meg anyagilag. viszont ha egy blockbustert feliratosan adnanak a moziban, 10-ed annyi ember ulne be ra. vagy ha a tv-be a szappanoperak felirattal mennenek, senki se nezne.

Szreintem megszokás kérdése. Nézd meg eredeti hanggal pl a Ponyvaregényt oszt meg magyar szinkronnal. Vagy hogyan hangzik Arnold legendás I'll be back mondata vagy Picard Engage! parancsa magyarul? Csak az, ahogy a szavakat kiejti megér mindent. Az élvezet felének oda a szinkronnal. De ahogy mondod ezt a csócselék úgysem értékeli.

De még ez is semmi a lengyelekhez képest, ahol a háttérben az eredeti hang hallatszik és egy ember lengyelül rábeszél. Nem tudom manapság változott-e, de anno mikor a műholdas hobbimnak éltem így volt.

Minden hulla a Mount Everesten valamikor egy nagyon motivált ember volt.

> Az élvezet felének oda a szinkronnal.

de felirattal meg a masik felenek (kep) oda...

amugy en pl. ha olvasok valamit akkor tudat alatt kizarom a kornyezeti zajokat foleg a beszedet, hogy ne zavarjon be. szoval akar hang nelkul is nezhetnem feliratosa, igy mar kb ugyanaz mintha egy konyvet olvasnek...

Nekem nem kell mondanod. Rendszeresen készítettem feliratokat amikor volt még erre időm.

Viszont most nem akarok "népművelni", egyszerűen látok erre igényt, mert van egy réteg aki soha semmit nem néz meg feliratosan. A technológia most kezd arra a szintre jutni, hogy az automata szinkron aránylag kevés erőbefektetéssel, pláne a korábbi szinkron-megoldásokhoz képest megoldható. 

Itt gyorsan ki lehet próbálni egy 10 perc alatt videóval előfizetés nélkül is: https://elevenlabs.io/
Jelenleg magyarra nem tud szinkronizálni, de magyarról angolra, németre és még sok nyelvre igen. 

Opensource megoldások:

Google -re épülő: https://github.com/am-sokolov/videodubber?tab=readme-ov-file

OpenAI-ra épülő: https://github.com/EliasLindbergs/ai-video-dubber

Hátha van még itt valaki akit érdekel ez a téma. 

“Az ellenség keze betette a lábát”

> van egy réteg aki soha semmit nem néz meg feliratosan

jelen. en ha olvasni akarok akkor fogok egy konyvet. filmet nem olvasni hanem nezni akarok...

csak ezt sokan nem birjak az agyukkal felfogni, mert elhasznaltak az egeszet nyelvtanulasra :)

amugy aki feliratosan nez mindent, attol kerdem: van pl. olyan film/sorozat, ahol neha 5-en egymas szavaba vagva hadarnak, a feliratbol kovethetetlen melyiket ki mondta, meg el se lehet olvasni olyan gyorsan porog. ebben mi az elvezet?

> Jelenleg magyarra nem tud szinkronizálni

kar :(

Mi egy ideje angol hanggal, angol felirattal néztük a filmeket, sorozatokat, pontosan a beszédértés fejlesztésére. De rájöttünk, hogy a felirat valójában hátráltat a fejlődésben, így már csak az angol hang van, mindenféle felirat nélkül.

Ugyanis ha megy bármilyen nyelven felirat, akkor arra figyelsz, próbálod elolvasni, nem a hangra és nem a képre. És ahogy mondod, ha pörgős a jelenet, akkor a felirattal le is maradsz, ráadásul az olvasás miatt kizártad a többit (hangot, képet).

Igen, de ez a réteg, aki feliratosat nem hajlandó megnézni, pont azért letézik, mert mások állandóan kiszolgálják őket szinkronnal. Ha ezt nem tennék, előbb-utóbb ráfanyalodnának arra, hogy ők is felirattal nézik, és simán megszoknák.

A szinkron az ráadásul egy elég nehéz műfaj, az AI részéről több képességet is igényel, nem csak fordítást, de hallás utáni értést, meg a vizuális tartalmat is elemeznie kell, hogy ne mást tátogjanak teljesen, mint ami elhangzik. Egyelőre mindhárom terület ingoványosan megy az AI-nak. Itt sem fogja kiváltani a szakembereket, akik évekig tanulják a szinkronos szakmát.

“The world runs on Excel spreadsheets.” (Dylan Beattie)

Szájszinkron eddig sem volt hagyományosan szinkronizált filmeken. Régebben jobban figyeltek a szinkronszöveget írók, hogy a magyar szöveg amennyire lehet közelebb legyen a színész szájmozgásához, de ez mindig igen távol állt a tökéletestől. Mostanában már gyengébb a magyar szinkron színvonala, bár a német szinkron mélységeitől még messze van. 

Belinkeltem egy proof-of-conceptnek teinthető videót. Egyszerűsített eset egy filmhez képest, mert háttérzene és zajok nélkül két ember beszélget benne, ritkán vágnak egymás szavába. Messze van még a tökéletestől, de szerintem már bőven az elfogadható kategórián belül van. 

“Az ellenség keze betette a lábát”

( arpi_esp v | 2024. 04. 27., szo – 21:09 )

Szerkesztve: 2024. 04. 27., szo – 21:10

nem hiszem hogy van ilyen szoftver, foleg magyar nyelvre. pedig en mar 10+ eve is akartam olyat csinalni, hogy a felirat filet felolvastatni text2speech szoftverrel es rakeverni a film hangsavjara, ahogy gyerekkoromban az alamondasos VHS kazettas filmeknel volt... de nem talaltam hasznalhato minosegu tts-t hozza.

ma mar egesz jo tts-ek vannak, bar nem magyar nyelvre. sot olyan is van aminek be tudod tanitani a hangmintat es akkor a szinesz hangjan mondja el. de meg mindig kene egy olyan hangsav, amiben a szoveg hianyzik, csak a zene/zajok vannak meg. bar egy jo AI modellel talan ez is eloallithato mar.

par ev es megoldjak szerintem, foleg ha meg sokat rinyalnak a szinkronszineszek :)

Most már lehet olyat, hogy valami fordító progival lefordítod az angol feliratot magyarra (pl deepl), aztán beküldöd egy tts-be (pl say Mac-en) vagy felmondod te szereplőnként külön sávra és akkor ezeket át lehet tolni so-vits-svc-en, amibe ha van megfelelő betanított magyar hangod (ilyen modellek létrehozása néhány nap), akkor azon a hangon fog megszólalni a végén a szinkron. ezeket már csak be kell időzíteni és kész is :)

hat egyreszt szopjon ezzel ennyit akinek 7 anyja van, masreszt ez max hangalamondas lesz, nem szinkron. szinkronnal egyreszt az eredeti hangot lecsreelik (ezt hogy oldod meg? ugy hogy a tobbi hangeffekt/zene megmaradjon) meg a hangsulyozas... meg honann tudod melyik mondatot melyik szinesz hangjan kell mondani? masreszt szajra kene szinkronizalni es ennek megfeleloen atirni a magyar szoveget, hogy szotagszamban stb stimmeljen.  mondjuk erre is meg lehetne egy AI-t tanitani :)

https://www.youtube.com/watch?v=D5IiqHxpWqQ

Ez például AI megoldással készült. Mindenki a saját hangján szólal meg németül. Bár ez csak beszélgetés, egy időben általában csak az egyik fél beszél nincs zene hanghatások a háttérben. Ezzel együtt nekem már egy működőképes megoldásnak tűnik. 

“Az ellenség keze betette a lábát”

hát ha felmondod a szöveget, akkor van lehetőség hangsúlyozásra :)

úgy lehet szétválasztani, hogy külön válogatod a különböző színészek szövegeit. de a so-vits-svc betanítása a legmacerásabb, + szerintem valakinek a hangját kölcsönözni egy picit jogilag sikamlós terület, főleg ha terjesztenéd is :D

a háttérzajokat meg valami ilyesmivel valószínűleg ki lehetne szedni: https://github.com/tsurumeso/vocal-remover , amit aztán alá lehetne rakni a szinkronizált verziónak

https://speechgen.io/en/subs/ (persze ez sem tud magyar nyelvet)

Google API-t érdemes használni. Illetve seleniummal kezdtem egy projektet, hogy ne kelljen csengetnem a googlenek :-) Egyébként a Google tts már elég jó minőségű magyar nyelven is. 

Az a probléma a felirat felolvasásával, hogy soha, illetve pontosítok a mai technológiai szinten nem lehet hangalámondásnál jobbat összehozni vele, mert hiányzik a pontos időszinkron az eredeti nyelven mondott szöveg és a felirat ad-hoc időzítése között, mondaton belüli időszinkron, továbbá hangsúly stb. Ezért az eredeti nyelvből készült automata fordításon alapuló szinkron hatékonyabb, azaz szinkronközelibb megoldásnak tűnik. Szöveg-szerűen a fordítás minősége ugyan gyengébb lesz egy jó tollú és nyelvismeretű emberi feliratkészítő szövegéhez képest, de a szinkronhang, hangsúlyok jobban a helyükön lesznek. Azaz szinkronszeűbb lesz. 

“Az ellenség keze betette a lábát”

( tibyke | 2024. 04. 27., szo – 22:19 )

AI-val (vagy AI-jal)

Tudjunk már magyarul!!44

( x-daemon | 2024. 04. 28., v – 14:17 )

es videojatekokat? azokban is dumalnak.

neked aztan fura humorod van...

Videojátékoknál real-time a nehezítés. A Google Assistant jelenlegi képességeiből kiindulva kell egy kis idő a mondat elhangzása után mire le tudja fordítani más nyelvre majd text2speech elmondani. Mivel előbb el kell hangoznia a fordítandó mondatnak szó szerinti szinkronról nem lehet szó ha ez egy általános játék feletti fordító. Persze ha a játék fejlesztői használják arra, hogy mostani néhány nyelven megszólaló játékaikat sokkal több nyelven tegyék elérhetővé beszélt szöveg szintjén is, akkor úgy egész jól megoldható. 

“Az ellenség keze betette a lábát”

( jevgenyij | 2024. 04. 28., v – 15:12 )

Végigkínlódtam a Foundation sorozat második évadját. Az elsőnél is rosszabb. Ilyen szinten elferdíteni az eredeti könyveket bűn a sci-fi irodalom ellen. Első körben most meggyőzöm a haveromat, hogy inkább olvassa el az eredeti könyveket. Ezt a szar sorozatot meg nyugodtan nézze meg angolul, sokkal jobb ha semmi szöveget nem ért belőle, a látványon túl nincs semmi értéke. 

Egy kiváló tudós/író művének megfilmesítésére soha sem szabadna nála sokkal alacsonyabb értelmi szinten álló, nulla tudományos képzettséggel rendelkező firkászokat alkalmazni. Egy történetet kizárólag az erőszak szintjén képesek értelmezni a sorozatot elkészítő kontárok, az Alapítvány könyvek pedig pont nem az erőszak köré épülnek. 

Ezért a borzalomért biztosan nem éri meg bajlódni az AI-szinkronnal, más filmeknél persze még hasznos lehet egy széles, erre igényt tartó rétegnek. De erre a sorozatra biztosan nem fogok csinálni szinkront. :-) 

“Az ellenség keze betette a lábát”

( YleGreg | 2024. 04. 28., v – 20:35 )

Letezik Adroidra jol mukodo kozel szinkrontolmacs applikacio, vagyis hogy  amit hall a telefon, akar orakon at, peldaul egy eloadast, azt relativ kis kesleltetessel magyarul hallom a fulhallgatoban?

( bennyh | 2024. 05. 05., v – 20:04 )

Tanyacsenölös kolléga Kernel Pánik YouTube csatornáján pont most jött ki ilyesmi videó, amin pont ilyen feliratozó MI miatt cserélt videókártyát.