Little Susie: BW2RGB teszt

Little Susie

Ezen a linken előzetes látható egy régóta futó fejlesztésből, ami a BW2RGB munkacímet viseli. A kísérlethez használt rendszer a Little Susie, a feldolgozás egy átalakított GIMP-et használ. Mint a rövidítés sejteti, az eljárás képes fekete-fehér fotókat színessé alakítani, ám - az eddigi hasonló eljárásokkal szemben - NEM kiszínezi őket vélt színekkel és emberi közreműködéssel. A módszer arra tesz kísérletet, hogy a fekete-fehér fényképezés és nyersanyagok optikai, fizikai, és kémiai jellemzői alapján alkotott eljárással ELŐHÍVJA a képben lappangó színinformációt...

Bővebb infó itt.

( horvatha | 2011. 02. 16., sze – 07:48 )

Ez disztribúciótól függetlenül érdekes.

De nagyon nem értem:

"... a fekete-fehér fényképezés és nyersanyagok optikai, fizikai, és kémiai jellemzői alapján alkotott eljárással ELŐHÍVJA a képben lappangó színinformációt"

Viszont a képeknél ezt írod:

"A fekete-fehér alapanyagként felhasznált fotók a Google képkereső választékából kerültek a tesztfolyamatba."

A Google képkeresőből szerzett képeknél honnan van a nyersanyagok fizikai és kémiai jellemzőiről infód?

Amúgy nagyon érdekes az egész. Publikáltál valamit az elméletéről? (Ha jól értem, a Te találmányod az eljárás.)

"Ma mindenki híján van a szövegértésnek?"

Hát, legalábbis Te biztosan! :-)

Még egyszer a cikk szerzőjétől: a Google-ről letöltött képekhez volt információ a film fizikai és kémiai paramétereiről is? Hol vannak ilyen, dokumentált képek, ahol a film paraméterei is adottak?

Vagy csak van pár paramétere a módszernek, melyek jellemeznek egy filmet és ezeket addig kell tekergetni, amíg egy képen elfogadható eredményt kap az ember és ez után minden, ugyaninnen származó kép ugyanezekkel a paraméterekkel színezhető ki?

Lejjebb, egy másik kérdésednél fejtettem ki válaszként a lényeget,
http://hup.hu/cikkek/20110216/little_susie_bw2rgb_teszt#comment-1224365
de jól gondolkodtál. Fotóeljárás, filmtípus, gép, készítő függvénye,
és utána már -persze kis szerencsével- sorozatban is lehet dolgozni.
-
"Attempting to crack SpeedLock can damage your sanity"

Ebben igazad van. Én úgy gondolkodtam, hogy ez egy preview, egy előzetes hír,
ahol majd a fórumokon, párbeszédes formában választ kapnak kérdéseikre
az érdeklődők. Itt vagyok, és szívesen válaszolok minden kérdésre.
-
"Attempting to crack SpeedLock can damage your sanity"

( metaball | 2011. 02. 16., sze – 07:56 )

ezek a képek sajna nem túl meggyőzőek...

Kipróbálni még nem lehet, mert nem érte el a publikus állapotot,
valamint a leendő jogállása sem eldöntött, tehát még nem tudható,
hogy kereskedelmi, vagy nyílt forrású-ingyenes termék lesz.
Egyelőre néhány demó kép került ki, a többi a jövő zenéje.

Ötlet: beküldött fekete-fehér képet megpróbálhatok alávetni
a teszt-eljárásnak, nem ígérek semmit, de próba-szerencse.
-
"Attempting to crack SpeedLock can damage your sanity"

( twinsen | 2011. 02. 16., sze – 08:34 )

"Mindezt már öt évvel ezelőtt. Az eljárás egyetlen, számítógéppel és grafikával foglalkozó céget sem érdekelt igazán, rengeteg kilincselés ellenére sem...klasszikus magyar eset." :D Tisztára mintha Egely Györgyöt hallanám!

21 év fekszik a kutatás-fejlesztésben, a kezdetektől napjainkig.
(közben foglalkozott a dologgal pl. a Corel, az SGI, és a Scansoft/Nuance,
de valahogy -magyar sajátosság- nem jött össze, hogy termékké váljon...
a MainConcept pedig már nem tudott vele foglalkozni,
mert felvásárolta a DivX Networks,
és a MainActor videószerkesztő ezzel gyakorlatilag megszünt)
-
"Attempting to crack SpeedLock can damage your sanity"

( tompos v | 2011. 02. 16., sze – 09:07 )

Latom, csak en vagyok a huje, hol vannak a kepek? A linken csak egy szoveg van, kepek sehol.

tompos

http://hup.hu/cikkek/20110216/little_susie_bw2rgb_teszt#comment-1224365
Ugyanebben a szálban, kicsit lejjebb.
(ennél bővebben már nem igazán lehet kifejteni anélkül,
hogy azonnal közkinccsé ne válna az eljárás lényege...
a jogállása viszont még nem eldöntött tény)
-
"Attempting to crack SpeedLock can damage your sanity"

Gondolom olyan információk alapján rakja össze a színeket, hogy a fű zöld, az ég kék a tehén pedig lila.

----
"Mert nincs különbség: mindenki vétkezett, és híjával van az Isten dicsőségének. Ezért Isten ingyen igazítja meg őket kegyelméből, miután megváltotta őket a Krisztus Jézus által." (Róma 3.22-24)

Nyilván nem alakfelismerés van benne, hanem mondjuk egy olyan algoritmus, hogy adott film esetén egy egyenletes zöld vagy egy egyenletes piros felület a fekete-fehér fotón azonos átlagintenzitású, de meghatározott mintázat van a zajban. Mondjuk piros fény esetén kisebb a zaj vagy ilyesmi.

Gondolom, a film és a fényképezőgép ilyen paramétereit kell ismerni, és ha jól értem, amit a szerző ígér, akkor a progija ezeket a mintázatokat ismeri fel, és ez alapján színez.

Nagyon fúrja az én oldalamat is a kíváncsiság, úgyhogy ha a szerző nem ad némi információt, akkor ki fog folyni az ebéd az oldalamon! :-)

Természetesen nem alakfelismerés, és nem is a konkrét kép kémiai elemzése áll a dolog mögött. Ennél bizonyos mértékig egyszerűbb is, meg bonyolultabb is! :)

A megfelelő szűrőrendszer kiválasztásához a képhez felhasznált konkrét fényképészeti eljárást kell tudni, vagy a kép alapján kikövetkeztetni.
Dagerrotípia, talbotípia, zselatinos lemez, orthochromatikus, panchromatikus film, stb...ez a kiindulási pont. A fentiekben kivonatosan leírt eljárásoknál használt fényképezőgép-típusok és a (film)nyersanyagok behatárolható karakterisztikák szerint működtek. Egytől-egyik erősen nonlineáris "eszközök" voltak.(és ez még enyhe kifejezés) Jelleggörbéik és rengeteg ehhez kapcsolódó járulékos információ ismeretében az egykori kamera által "látott" szinek egy része visszaállítható, természetesen ez függvénye a kép jelenlegi állapotának.
Tehát, egy korabeli viszonyok közt jó minőségű alapanyagra, jó géppel, jó fotós által készített, és azóta minél kevesebb eróziós hatáson átment kép tudja a maximumot kihozni a színelőhívás során. (nem állítható vissza a teljes színmennyiség, hasonlóan ahhoz, mint amikor közepes bitrátájú mp3-ból kódolunk vissza wav-ba, de a lényeg megfogható)

Érdekes jelenség, hogy a fekete-fehér kép természetes eróziója szinte ugyanúgy befolyásolja az előhívott színeket, mintha korabeli színes képet ért volna azonos mértékű eróziós hatás. (nem tudom jobban elmagyarázni, aki látott már régi, megfakult színes fotót, az érteni fogja)

További érdekesség, hogy kísérletképpen néha sikerült (kontrollként) új,
digitális géppel készült ff képet is valamennyire visszahozni,
de ott valószínűleg azért, mert a kamera analóg karakterisztikát utánzó
eljárást használ a szürkeskála előállításához. (nem tény, csak feltételezés)
-
"Attempting to crack SpeedLock can damage your sanity"

Ha megvan a negatív, és szépen túlélte az idő vasfogát,
akkor a lehető legjobb eredmény születhet,
tehát elérhető az "mp3-ból vissza wav-ba" hasonlattal
leírt előhívási minőség.

Egyébként a kép tartalma alapján is egészen jól becsülhető
a fényképezési eljárás fajtája, ez már tapasztalat.
-
"Attempting to crack SpeedLock can damage your sanity"

Egyébként, ahogy fentebb írtad a negatívot...
küldhetsz egy próbát, negatívról készült szkennelt állományban,
szívesen megnézem, mit hoz ki belőle a teszt.
(a negatív film felirataiból egyértelmű infókhoz lehet jutni a beállítások egy részéhez)
-
"Attempting to crack SpeedLock can damage your sanity"

( E-Medve v | 2011. 02. 16., sze – 13:27 )

Ígéretes fejlesztés. Különösen a 4. (ódon városrész) képnél hihető igazán a színvilág.

Az a kép egy toscanai városkép, és kontroll gyanánt később sikerült szerezni nagyon hasonló színesben készült utcaképet, valószínűleg ugyanabból a városrészből. Döbbenetes az egyezés a színek terén.

A másik érdekesség: az első műtermi fekete-fehér fotókon végzett próbáknál
szörnyű fekete-barna-vörös-sárga lett minden az előhívott anyagokban.
(nagyanyáink-dédanyáink idejében készült képek voltak az eredetik)
A vörös-sárga színskála teljesen dominánsan fedte a képtartalom nagy részét.
A miértje pedig rendkívül egyszerű: azokban az időkben magnézium "vakut" használtak, a színképe erősen vörös-sárga, színhőmérséklete ennek megfelelően
valahol 2-3000K között mérhető, az égés paramétereitől, tökéletességétől függően.
A vörös-sárga színskálán mérhető megvilágítás okozta "színes megvilágítás"
pedig szépen előjött az előhívott képen is.
Hasonló eredmény született a későbbi, hagyományos izzók fényénél készült műtermi, vagy beltéri képeknél. Ott is vöröses az alap-árnyalat, és leginkább a sárga megvilágítás dominál, a 3-4000K közötti színhőmérsékletű megvilágítás miatt.
-
"Attempting to crack SpeedLock can damage your sanity"

( BaT | 2011. 02. 16., sze – 15:38 )

Egyik X-akták részben használtak ilyen eljárást (spoiler lent). ;)

Én kicsit úgy látom, hogy a barnás árnyalatok dominálnak a színezett képeken, ezért kicsit szépia benyomást kelt a színes helyett, de azért pár képrészlet egész jól sikerült. Például az elsőn az ég, illetve az utolsón a fű.

Spoiler: akkor egy biztonsági kamera egyetlen képkockája állt rendelkezésre, amin a gyanúsított elmosódott képe volt látható. Amikor kiszínezték a képet, kiderült, hogy a gyanúsítottnak piros pulóvere van, és ez alapján tudták folytatni a nyomozást.

--
Don't be an Ubuntard!

Nem tökéletes a dolog, és teljesen tökéletessé nem is tehető,
bár innen még bőven van fejlesztési lehetőség.
Egy biztos: soha nem lesz olyan, mintha kifestették,
vagy frissen ma fényképezték volna.
Pontosan azért, mert nem kifestett, hanem a valóságon alapul.
Tehát, azt az információt, ami a technika korabeli tökéletlensége,
és a közben eltelt idő vasfoga miatt elveszett, azt nem lehet visszahozni.
Mondjuk, kombinálni lehetne képjavító eljárásokkal az eredményt.

(Egy két sci-fit vagy bűnügyi filmet én is láttam,
amiben ilyesmit használtak, természetesen úgy,
mint ahogy a filmbeli hackerek betörnek...:)
azonnal, 4-5 billentyű-leütésre, klikkre tökéletesen.)
-
"Attempting to crack SpeedLock can damage your sanity"

Lassan elő kéne bányásznom azt a 4 DVD-t, amire kiírtuk anno a Horgász a pácbant "színes" verzióban(megvannak még). ;)
Azt nézem a mostani képeken, hogy igazából a küszöbszinteket kellene még finomítani, hogy ne legyen ennyire meredek a "színterületek" törése.
Kicsit fehér-egyensúly-korrekciózni kell rajtuk, meg némi telítettség-korrekció.
Alakul :)

Ja, amikre a DV AVI mentések kerültek?
Csúcs lenne, ha meglenne még, nálam már csak egy MPEG másolat van,
kábé VCD minőségben, pedig valahol minden mentést elraktároztam. :)

A töréspontok kezelése nem egyszerű dolog...
hangtechnikából te tudod a legjobban, hogyha egy EQ-n
tolsz az egyik potin, az mást is befolyásol, nemcsak az adott frekit...
de tényleg fejlődött az eljárás a 6 évvel ezelőtti
színes helytörténeti kiállítás óta...az még nagyon gyenge minőségű volt.
Az azóta történt finomítások már túlmutatnak az eredeti elven,
ami a felvevő eszközrendszer optikai-fizikai-kémiai-stb nonlinearitásán alapult.
Azóta már digi. géppel készült színes képből számítógépen, teljesen lineáris,
tiszta matematikai eljárással készült ff. képből is sikerült színeket
visszahozni, néha nem is gyenge eredményekkel...ez már érintheti a látás
fiziológiájáról, és a fényről meglévő ismereteinket is.

(semmi parajelenség, csak azt jelentené, hogy bizonyos, pofon egyszerű hangtechnikai ismereteink,
az általad -nálam sokkal jobban- ismert hangmérnöki tapasztalatok-ökölszabályok
simán alkalmazhatók a fény, mint elektromágneses hullám/sugárzás esetén is,
és néhányszor tíz tonna fennkölt maszlaggal teli nagyon okos fizikai értekezést és akadémiai marhaságot pedig simán ki lehet dobni az ablakon :) )

A white balance már folyamatban, alkalmazom utókezelésre, de csak óvatosan.
Véletlenül sem szeretném meghamisítani vele az eredményeket.
Próbálkozom úgy beleépíteni, hogy csak a dolgát tegye, de ne változtasson.

-
"Attempting to crack SpeedLock can damage your sanity"

Hát a hang és a fény is frekvenciában mérhető rezgés, úgyszólván közösek az alapok.
A DVD-k megvannak, megtaláltam a doboz mélyén :)
No majd ha lesz egy kis szabad kapacitásom, bekérezkedek valamelyik TV-hez, bár ha jól láttam, van a jelenlegi helyen is valami vágószoba. Ha már Edius-uk van, azzal valamelyes lehet már vegyészkedni.

Pontosan. Többet már nem merek nyíltan írni, mert lelövöm a lényeget.
Nem bánnám, ha akadna egy olyan cég, akit érdekel a dolog.
(a sima, nem professzionális eljárás pedig ettől még lehetne nyílt forrású...
nem tudom, majd ahogy az élet hozza, úgy lesz)

DVD-k: Igen, egy kis utómunkálat, világosság, és sárga/kék balance rájuk fér,
de még lehet belőle valami. :)
-
"Attempting to crack SpeedLock can damage your sanity"

( eCaffee | 2011. 02. 16., sze – 19:16 )

Újabb kísérleti képsor került ki a lap aljára.
http://borzsonynet.hu/linux/bw2rgb_teszt/
Friss, kitűnő minőségű színes fotóból
(bal oldali kép)fekete-fehér leképezéssel
(GIMP, Kép>Mód>Szürkeárnyalatos menüpont segítségével,
középső kép) szürkeárnyalatos kép készült,
ami aztán átesett a BW2RGB teszten.
Az eredmény a jobb alsó kockában látható.
-
"Attempting to crack SpeedLock can damage your sanity"

Na, itt elakadtam.

Azt még csak-csak sejtem, hogy egy igazi, filmes fotó esetén valamiben különbözik a piros és a zöld felület (pl. bizonyos térbeli frekvenciájú Fourier-komponensben), de itt, ha az eredeti digitalizált színes kép jó minőségű volt, akkor nem értem, mi maradhatott a fekete-fehérben bent, ami színspecifikus.

Arra gyanakszom, hogy inkább labor-faktor effektus volt, azaz addig tekergettél egy paramétert, amíg a kívánt eredmény létre nem jött. Azért is sejtem ezt, mert minden ugyanazt a barnás árnyalatot kapta, és a kép eleve is ilyen volt. A rekonstrukción a szem környéki rész is ugyanúgy barnás árnyalatokban tobzódik, mint a bőr, pedig az eredetiben ez más színű. Számomra a halánkétmasszírozós csaj képén a rekonstrukció inkább egy szépia effektnek tűnik, mint színrekonstrukciónak.

Nem lehetne ugyanezt egy sok színt tartalmazó digitális képen lefuttatni? Ha azt is, akárcsak nagyjából visszaállítja, akkor varázsló vagy én meg teljesen tudatlan!

Mondjuk ezt: http://ny-image0.etsy.com/il_570xN.65608632.jpg

Nem "tekergettem" semmit...az egyik előhívó-szűrőrendszer simán visszahozta.
Korrigálni csak az árnyékok elszíneződését, és a fényerőt kellett utólag.
Azóta tettem ki másik, nem éppen szépia-színű eredeti képből visszahozott alanyt is, négyfázisú kép a lap alján: http://borzsonynet.hu/linux/bw2rgb_teszt/

Ettől függetlenül letöltöm a "kihívást" jelentő képet, és elkezdem!
Kíváncsi vagyok rá!

Szerk.: nem semmi feladat a kép! Rosszabb, mint egy monoszkóp!
Tiszta neon, természetben nem létező színek, a természetben nem létező
kombinációkban, színátmenetek nincsenek, és mindez szürke keretben...
elsőre elképzelhetetlennek látszik a részleges siker is.
Nem is igazán boldogul vele egyik filter sem, de az elért eredmény
alapján viszont nem tűnik lehetetlennek, hogy egyszer megbírkózzon
ilyen elképesztő feladattal is.
Az eredeti, a szürkeskálás, és az előhívott teszteredmények
(kétféle fix filter-rendszer és egy utókompenzált szűrt kép)
itt láthatók:
http://borzsonynet.hu/linux/bw2rgb_teszt/il_570xN/

-
"Attempting to crack SpeedLock can damage your sanity"

Mint írod, elég gonosz a kép, ezért kerestem egy - szerintem - megfelelőt: http://www.flickr.com/photos/tedcompton/1771159155/

Hozzátenném, hogy marha nehéz flickr-en olyan fotót találni ami szürkeárnyalatos, feltehetően színes volt, természetes színeket használ, és még a licence is megfelelő.

--
Don't be an Ubuntard!

Ez egy gyönyörű színes őszi erdőkép, fekete-fehérben,
rengeteg természetes árnyalattal és átmenettel.
Munka után leszedem nagy méretben, és átküldöm néhány filteren,
aztán feltöltöm a tárhelyre az eredményt!

-
"Attempting to crack SpeedLock can damage your sanity"

Az az igazság, hogy a tesztkép igen kontrasztos és zajos. Szerintem ez sem nevezhető jól exponáltnak. Tele van kiégett résszel.

Viszont amit érdemes volna beizzítani a rendszeredbe: egy white-balace-ot kék és zöld irányba csúsztatva. Minden képen szemmel látható a barna és vörös felé tolódás, véleményem szerint nyugodt szívvel fixen bele lehetne tolni egy ilyen "szűrő"-t. Most nincs gimp előttem, nem tudom lemérni, mennyit lehetne átlagosan beletolni.

Igen, eléggé problémás kép volt ez is,
az expozíciós hiba miatt szívtam is rendesen.
(olyan is lett)

A balance problémát évek óta tudom,
de sajnos nem ennyire egyszerű,
visz magával mást is, mert függőek a dolgok.
(de kíváncsi vagyok rá, hogy te fotós szemmel hogyan igazítasz rajta,
mert nekem az ezirányú rutin hiányzik, szóval jól jön a segítség)

-
"Attempting to crack SpeedLock can damage your sanity"

Természetesen többlépcsős a korrekció. Este majd beülök Gimp elé, s felírom, miket nyesztetek rajta. Általában színegyensúly, kontraszt-fényerő páros, illetve ha nagyon kell, akkor picit játszok a telítettségekkel is.
Ezt automatizálva értelem szerűen nem tudod akkora értékekkel művelni, mert lehet, hogy túllőnél vele, de egymás utánban 2-4 lépcsővel (filterek egymás utáni futtatásával) kivitelezhető elfogadható eredményt szülve.

Tudod, mi a vicc?
Normálisan exponált, jó kép esetén
(és itt nagyon nem a megapixel számít, bár abból is van egy minimális érték,
ami alatt már nem igazán esélyes, 0.3 MP alatt már halott ügy)
a hatéves, régen túlhaladott filtereim is szép eredményt hoznak...
(persze, ha természetes a kép felépítése, a tartalma,
és lehetőleg napfény a világítás, stb)

-
"Attempting to crack SpeedLock can damage your sanity"

( Dacr (nem ellenőrzött) | 2011. 02. 16., sze – 20:12 )

A pados képet kicsit színkorrigáltam Gimp-el:

kép
A képet a Képfeltöltés.hu tárolja. http://www.kepfeltoltes.hu

Ha nem kiégetett, vagy agyonkontrasztozott képekkel kísérletezel, hanem szabályosan kiexponálttal, jobb aza eredmény. Az ódon képekkel nem sikerült így a Gimp-es művelet.

( szemet | 2011. 02. 17., cs – 15:34 )

Nohát ha nem árulsz el konkrétumot tippelgetni lehet? ;)

mondjuk HSL-ben gondolkodva (árnyalat, telítettség, fényesség) én így kezdenék hozzá:

1. A fényesség komponens adott

2. a telítettséget átlagosan gyengére vehetjük az egész képen (így kicsit egységesen fakó lesz, viszont a tévedések sem olyan mellbevágóak;)

3. az árnyalat tippeléséhez, ami a lényegi meló, fel lehet használni olyan információkat pl., miszerint az zaj komponens általában a piros csatornán a legerősebb a zölden a leggyengébb -> így pl. a relatív zaj becslésével lehet a piros-zöld arányt belőni a kép egyes területei között biztos a kékkel is van vmi. összefüggés amit persze automatikusan is lehet kerestetni ha van egy tanítóhalmaz

Innen nem gondolom végig pontosan, csak vázlatosan:
- a 3. ponthoz élkereséssel régiókra bontanám a képet, ott mérném a relatív zajt (pl. SVD-felbontásban mekkora kevésbé szignifikáns dimenziók szorzója?)
- beszereznék egy nagyobb mintát, amire egy tanulóalgoritmust ráeresztve megpróbálnám betanítani a zajtérkép->szín függvény reprodukálására

És nem utolsó sorban persze utána néznék van-e egyéb paraméter is ami színenként eltérő (és azt is felhasználnám) ;)

Sokkal, sokkal egyszerűbb. (elméletben legalábbis)
Szóval, az egyik inspiráló ötlet az volt, ahogyan Gábor Dénes képletbe foglalta a hologram matematikai hátterét...
tehát, tárgy+lézer=hologram, hologram-lézer=tárgy...

szóval, ezen a mezsgyén elindulva, tárgy+fény+fekete_fehér_fényképezés=ff_kép, és ff_kép-fekete_fehér_fényképezés=tárgy+fény, nagyjából.
Az egész nem digitális, hanem analóg síkon elképzelt művelet,
persze a megfelelő analóg szűrőrendszer megvalósítása horrorisztikusan
nehéz lenne, ezért digitálisan került modellezésre.

A lényeg az egészben a fekete-fehér film, mint analóg jelátalakító eszköz
által végzett műveletek közben részben megmaradó, transzformálódó információ megtalálására és visszanyerésére tett kísérlet.
Mindent nem lehet visszanyerni, sőt, nagyon korlátozott a mozgástér.
Kb. úgy képzeld el, mintha egy hagyományosan mátrixolt quadró hangfelvételből
valaki gyenge mp3-at készített volna, a feladat pedig ebből az eredeti analóg quadró hangjel részleges visszanyerése, a lehetőségekhez képest.

-
"Attempting to crack SpeedLock can damage your sanity"