Megjelent az első linuxos, AI-s képfelskálázónak, az Upscayl-nek első kiadása

Szerszám
Részletek itt. Az Upscayl megtalálható a GitHub-on.

( sinexton | 2022. 08. 25., cs – 09:32 )

Szerkesztve: 2022. 08. 25., cs – 10:03

Egy kis infó annak, aki nem ért mélyebben AI-hoz:

Azért használható fantasztikus módon Photoshop szerű eljárásokban, mert könnyű sok címkézett tanító adatot előállítani hozzá automatikusan.

1) Hogyan működik az AI?

Van egy matematikai black box. Van bemenete és kimenete. Bemenetén az adatot adjuk be, kimenetén a választ kapjuk.

A tanítás során megmondjuk a választ. Így "hangolni" tudja önmagát. Amikor pedig már eleget tanult, akkor új, teljesen ismeretlen dolgokat kérdezünk, melyre adja a választ.

Az AI ereje abban van, hogy véges adatra tanítunk és végtelen újra kérdezünk.

2) Miért használható könnyen PS szerű dolgokhoz?

Nézzük a zajtalanítást. Leszedünk rengeteg képet a netről. Majd zajt rakunk rá. A zajos kép lesz a bemeneti adat, a zajtalan a tanító válasz.

Látjátok, hogy milyen "egyszerű" így választ (címkét) gyártani. Mert a tanulásnál kell a feedback, hogy milyen infót kapott. Ezt supervised tanításnak hívjuk, vagyis felügyeltnek. Mint amikor a kisgyereknek elmondjuk, hogy az egy kamion. A kisgyerek pedig általánosít belőle, hogy 4 kerek dolog egy nagy dobozon az egy kamion. És ahogy kap finomabb különbségeket az új infónál, úgy tud egyre finomabban disztingválni, hogy nyerges kamion, csőrös, az már egy furgon stb.

Ilyen effektekkel könnyen tudunk tanító mintát gyártani címkével. Mert alapból az a gond az AI-nál, hogy általában nem elérhető elég tanító adat pontos válaszokkal (címkékkel).

3) Hogyan működhet tehát a fenti eljárás?

Nyilván sok extra matematikai know-how-t tehettek bele pluszban, de egy alap verzió megérthető úgy, hogy rengeteg képet beszerzünk, majd csökkentjük a felbontásukat. A csökkentett lesz a bemeneti tanító adat, az eredeti kép pedig a tanításhoz tartozó válasz.

Mi a cél? Hogy "generalizálódni" tudjon. Vagyis ne magát az adatot tanulja meg (hogy milyen inputhoz milyen kimenet tartozik, ezt túltanításnak nevezzük), hanem a rendkívül mély összefüggéseket értse meg, melyekből teljesen új adatra is fog tudni választ adni.

A linkelt cikkben a csavo irta, hogy o nem vett eszre lathato javulast a kepen. Ez azert lehetett, mert elotte nem tanitotta meg az AI -t, hogy mit kene csinalnia?

Nekem vam egy adag regi kepem, nagyon alacsony felbontassal, ezeket vajon fel tudna javitani? De vajon mennyi, es milyen tanitas utan?

Ha van batch uzemmod, akkor ez mondjuk megoldhato inhuvelygyulladas nelkul. :-)

Szerintem zeszek majd vele egy probat. Vajon a regi videokat, nemelyik 640x480 azt vajon fel tudja majd valami AI javitani? Ha framenkent kitolom egy alkonyvtarba, es raeresztem, akkor masfel ev mulva lehet, hogy lesz belole fullhd kepsorozat... :-)

mindenkepp kell a hasznalatahoz egy jol megtanitott AI model. azt nem tudom hogy a fenti program ezt tartalmazza-e vagy neked kell eloallitani.

en regebben a topaz gigapixel-t hasznaltam, az tartalmaz/letolt modelleket, manapsag pedig ezt, ehhez is van tobbfele (legalabb 3) kesz model:  https://github.com/xinntao/Real-ESRGAN

ez videot is tud amugy, de azt nem probaltam...

es ez is hasonlo, de meg nem probaltam:  https://github.com/JingyunLiang/SwinIR

a cikk cime amugy nem kicsit felrevezeto, hogy ez az elso linuxos felskalazo, mert az nagyon nem ez... max az elso ami GUI-s.

Így van, kell az agy (a betanított model) és az fel tudja neked skálázni. Arról nincs infóm, hogy ilyet közzé tesznek-e.

Videókhoz szintén van AI megoldás, nem tudom láttál-e régi 1900-as évekből feljavított videókat, ahol full HD-re skálázták fel, 60 frammel és színezéssel stb.

Tehát vannak megoldások, de kell a tanított modell. Ha nincs modell, akkor le kell programozni, hogy leszedjen rengeteg képet és az általam fent leírt módon előállítani a tanító adatot (kis felbontás) és a választ (nagy felbontás).

Nekem a posztból az jött le, hogy:

  1. keresett egy nagyfelbontású, de rosszul fókuszált fényképet
  2. felskáláztatta mégnagyobb felbontásra
  3. csodálkozott, hogy a kép továbbra is rosszul fókuszált volt

Szerintem ez kifejezetten rossz használati eset. A felskálázásnak az lenne a lényege, hogy a Nyquist-határ feletti hiányzó térbeli frekvenciákat próbálja meg kipótolni a neurális háló a tanultak alapján. Itt a térbeli frekvenciák jóval a Nyquist-határ alatt végetértek (vagy legalábbis erősen csillapítottak lettek). Amit a neurális háló szerintem nagyon helyesen kezelt.

Ha van egy fényképem, amin a mélységélesség miatt vannak éles részek és a fókuszon kívül eső homályos területek, akkor nem szeretném, ha a felskálázó algoritmus megpróbálná megszüntetni a mélységélességet és az elmosott hátteret is mesterségesen kiélesítené.

Van persze olyan tool, ami kifejezetten a fókuszon kívüli részek "refókuszálásra" való, de az teljesen máshogy működik és más eredményt vársz el tőle.

A videó egy másik történet. Arra léteznek ún. superresolution algoritmusok (régebben keresgéltem, de nem találkoztam open source implementációval, kíváncsi lennék, hogy van-e). Ezek elsősorban a képen a mikro-mozgásokból próbálnak extra subpixel információt kinyerni és az egyes állóképekre visszavezetni. Érdekessége, hogy ezek tipikusan nem használnak neurális hálót, így nem használnak fel extra információt valamilyen korábbi traning setből sem.

Régóta vágyok én, az androidok mezonkincsére már!

( carlcolt | 2022. 08. 25., cs – 15:21 )

Egyszer kiprobalom 90-es evekbeli jatekok assetjein :)

Sok tanító mintán való tanulás nélkül nem tud semmit az AI - ha ere gondoltál. Ráadásul megfelelő tanítás kell, amelynek eredménye az, hogy képes generalizálni a megtanult tudást új mintákra. Ha egyik nincs meg, akkor semmire nem használható, mert csak random zaj a kimenet.

( prwnd | 2022. 08. 27., szo – 00:13 )

Jól értem, hogy a Google Photos által lerontott képet feljavithatom előhivatás előtt? Pl poszterre az ingyen tárolt kép már nem alkalmas.