[Megoldva] Párhuzamos folyamatok bash-ben

Most értem haza, nem voltam gépközelben, olvasom a válaszokat rögvest... :)

tr [:lower:] [:upper:] <<<locsemege
LOCSEMEGE

Itt folytatom, nem akartam túl hosszú hozzászólást. :)

A scriptemnek van egy első fele, hasonlóképpen párhuzamosítani kell. Az egész annyit csinál, hogy egy pdf file-t oldalanként png képfile-okba renderel, továbbá a pdf file-ból kiszedi az abba eredetileg képként berakott objektumokat. Mivel 600 dpi esetén egy 56 oldalas, képekkel teletűzdelt doksival ~18 perc alatt végzett, úgy éreztem, jó volna kihasználni a 4 magos CPU-t, hiszen ezért van. Így a futásidőt sikerült ~5 percre leszorítani.

Amíg volt a scriptemben egy bug, elindult 56 példányban a konverzió, felfalta a soványka 2 GB RAM-omat, megevett mellé 7 GB swap-et, az egér kurzort már nem bírtam megmozdítani, az óra, amelynek másodpercenként kellett volna frissülnie, úgy 5-10 percenként frissült, hasonlóképpen a conky, illetve a top is. Mondjuk érthető. :)

tr [:lower:] [:upper:] <<<locsemege
LOCSEMEGE

Barátkozom ezzel a parallel nevű szerszámmal...

tr [:lower:] [:upper:] <<<locsemege
LOCSEMEGE

Az hogyan lehetséges, hogy pipe-olok valamit a tee-nek, s amit ír file-t, az menet közben hízik, majd a végén összemegy?

Konkrétabban a parallel stderr-re írott kimenetéből akartam yad-dal progress bar-t csinálni vázlatosan így:

seq $p | parallel --eta paraméterek 2>&1 | tee "$HOME/debug" |\
awk 'script' | yad --progress --auto-close --egyebek

A debug file működés közben 13kB+ is lesz, aztán a végén összemegy 4.4 kB-ra. Ez hogyan van? Ami egyszer átment a csövön, annak még utána lehet nyúlni? Már megint nem értek valamit...

tr [:lower:] [:upper:] <<<locsemege
LOCSEMEGE

A legjobb az, amikor a debugban lévő hiba vezet félre. Igen, a tee -a jobb megfejtés volt. Ugye a tee csak debug célokat szolgált. Ettől eltekintve egyetlen hiba volt benne: kihagytam az awk scriptből az fflush() hívást. Itt nem elég, hogy a végén legyen eredmény, rekordonként kell, hiszen a progress bar valós idejű. Az nem mutat jól, hogy a folyamat ideje alatt 0%-on áll, majd a végén pár ms alatt felszalad 100%-ra. :)

tr [:lower:] [:upper:] <<<locsemege
LOCSEMEGE

Azért még kérdezek. :)

Hogyan lehet megtudni, hogy egy pipe-ban mi a pid-je az egyes process-eknek? Mondom, mi a probléma. Használom ezt a yad nevű jószágot, de az a sanda gyanúm, hogy bugos, szeretném megkerülni a problémát. Az alábbi szerkezetű az adott részlet:

(itt vannak dolgok subshell-ben) | yad --multi-progress

Fontos tudni, hogy a --auto-close kapcsoló csak a --progress esetén működik. A gond az, hogy hiába hal ki a subshell, szűnik meg a pipe bal oldala, a yad éli világát, s bambán néz. Én meg azt szeretném, hogy például a subshell utolsó utasításával kinyiffantanám a yad-ot valahogy ekképpen:

(itt vannak dolgok; kill $PID_YAD) | yad --multi-progress

Gondoltam használni a bash coproc dolgát. Ezzel is az a baj, hogy a yad nem hajlandó meghalni, elárvult process marad. Az alábbi kód - egy sorban írtam, mert nem volt kedvem file-ba írni - és eredménye:


coproc { yad --multi-progress --bar=alma --bar=korte; };
for ((i=0; i<=100; i+=5)); do echo -e "1:$i\n2:$[i/2]";
[ $i -eq 80 ] && { echo "COPROC_PID=$COPROC_PID"; pgrep -lx yad; pgrep -lx coproc; } >&2;
sleep 0.2; done >&${COPROC[1]};
pgrep -lx yad; pgrep -lx coproc
[1] 27652
COPROC_PID=27652
27654 yad
27654 yad


Ugye itt megint az a baj, hogy a yad pid-jét nem tudom. Hogyan lehet megtudi?

tr [:lower:] [:upper:] <<<locsemege
LOCSEMEGE

Gondoltam, ideírom a megfejtést, de épp bénázok. Parancssorban működik, a scriptben már nem. Vagy elírtam valamit, vagy nem tudom. Most debugolok...

tr [:lower:] [:upper:] <<<locsemege
LOCSEMEGE

Megvan a nyomorult! :) Szóval azon csúsztam el, hogy a $BASHPID nevű változó nagyon helyesen az aktuális shell pid-jét adja vissza. Ez viszont egy pipe esetében nem az őt futtató subshell pid-je. Mindjárt részletezem.

Tehát a feladat így nézett ki. A gui változó azt mondja meg, hogy legyen-e grafikus felület, vagy terminálon futkorásszon.


if [ $gui -eq 1 ]; then
    output='yad --title="$selfname" --width=$width --multi-progress --bar="${label[0]}" --bar="${label[1]}"'
else
    output='cat'
fi
...
(
    itt előállítjuk a progressbar vezérlését vagy a terminálra írandókat
) | eval "$output"


A gond ugye az volt, hogy a végén az a yad, amely az eval-lal értékelődik ki, nem lép ki, s valahogy a pipe másik oldaláról szeretném lelőni, amikor elérte a zárójelben lévő rész a subshell-ben a működésének végét, s így a 100%-ot jelezte a yad-nak, amit az megjelenít.

A megoldás alant:


pipepid=`cat<<'EOF'
    BEGIN {
        pipe = -1;
    }


    /pipe$/ {
        if (pipe == -1) {
            if ($2 == bashpid) {
                pipe = $8;
                FNR = 1;
            }
        } else {
            if ($8 == pipe && $1 == procname) print $2;
        }
    }
EOF`
if [ $gui -eq 1 ]; then
    output='yad --title="$selfname" --width=$width --multi-progress --bar="${label[0]}" --bar="${label[1]}"'
else
    output='cat'
fi
...
(
    itt fut a program, valamint előállítja a yad-nak küldendő %-os értékeket stdout-ra
    bashpid=$BASHPID
    kill `lsof -u "$USER" -U | awk -v bashpid=$bashpid -v procname='yad' "$pipepid"`
) | eval "$output"

Fontos momentum, hogy nem írható az awk -v bashpid=$BASHPID, mert ott éppen más az értéke. Nekünk annak a subshell-nek kell a pid-je, amelyik a zárójelen belül van. Így aztán kell a bashpid=$BASHPID, majd ezt a változót adjuk át az awk-nak.

A pipepid awk script először megkeresi az lsof kimenetéből, hogy a subshell-ünk melyik pipe-ba ír, majd kikeresi - szintén elölről -, hogy ehhez a pipe-hoz melyik procname nevű process - ez ugye a keresett yad - csatlakozik, majd ezzel a pid-del küldünk SIGTERM-et a yad-nak. Erre már, ha unott képpel ugyan, de kegyeskedik kilépni. :)

tr [:lower:] [:upper:] <<<locsemege
LOCSEMEGE

Akkor írom a javítást. Ez már nem csak gyakorlatilag, de elvileg is jó:


pipeawk=`cat<<'EOF'
    /pipe$/ {
        if ($2 == bashpid) {
            print $8;
            exit 0;
        }
    }
EOF`
pipepidawk=`cat<<'EOF'
    /pipe$/ {
        if ($8 == pipe && $1 == procname) print $2;
    }
EOF`
if [ $gui -eq 1 ]; then
    output='yad --title="$selfname" --width=$width --multi-progress --bar="${label[0]}" --bar="${label[1]}"'
else
    output='cat'
fi
...
(
    itt végzi, amit kell, s előállítja a progressbar vezérlési infót
    if [ $gui -eq 1 ]; then
        bashpid=$BASHPID
        lsoftext="`lsof -u "$USER" -U`"
        pipe=`awk -v bashpid=$bashpid "$pipeawk" <<<"$lsoftext"`
        kill `awk -v pipe=$pipe -v procname='yad' "$pipepidawk" <<<"$lsoftext"`
    fi
) | eval "$output"


A javítást azért írtam, mert fentebb ostobaság volt, ne az maradjon meg.

tr [:lower:] [:upper:] <<<locsemege
LOCSEMEGE