Vajon mi a szűk keresztmetszet?

Segédprogramok

Van egy usb2-es külső hdd, és azon egy 56G méretű bz2 tömörített fájl.
Van egy másik usb2-es külső hdd, amin van elegendő hely, hogy a kitömörített fájlt tároljam.

Először egy régi Core Duo laptoppal indítottam a kitömörítést, bzip2 -cd egyikhdd/fájl.bz2 > másikhdd/fájl
Telt múlt az idő, ránéztem, láttam, hogy az egyik processzor majdnem 95-100% körül dolgozik, a másik meg pihen. Kb. fél óra alatt talán 1G-t sikerült kipakolnia. OK, gondoltam ez így túl lassú, láthatólag a processzor a szűk keresztmetszet. Azon a gépen egy pendrive-ról futott a linux, telepíteni nem lehetett rá, párhuzamosítani nem tudtam a kitömörítést. Félbeszakítottam.

Elővettem egy másik laptopot, ez újabb, i7-es processzor van benne. Ezen elindítottam a kitömörítést: pbzip -dc egyikhdd/fájl.bz2 > másikhdd/fájl
Megy. Lényegesen gyorsabb, mint a másik, pár perc alatt megvolt másfél G kitömörítése. Ránéztem toppal, és azt láttam, hogy olyan 102-105% körül írja a pbzip processzt, a processzormagok között megosztva. Ebből arra gondoltam, hogy az usb lehet a szűk keresztmetszet, ugye a párhuzamos pbzip a 2 darab HT-s magon elméletileg 400%-ig tudna pörögni, ha nem fogná vissza semmi.

Igen ám, csak közben elkezdtem nézni, hogy a belső hdd-ről le akarok menteni szintén pár gigát a külsőre, amin van hely. Elindítottam azt a másolást is, és azt vettem észre, hogy a pbzip ugyanúgy 100% feletti processzoridőt eszik, és közben a másolás egy olyan 15-20 MB/s sebességgel megy.

Elképzelhető az, hogy a szűk keresztmetszet az első hdd-ről az olvasás? Hiszen láthatólag a processzor bírná, a cél hdd bírja.

De lehet az, hogy két USB2-es hdd közül az egyikről a tömörített adatfolyamot lényegesen lassabban lehet olvasni, mint a másikra a kitömörített (nagyobb) adatfolyamot írni?
Én azt vártam, hogy írni lassabb, mint olvasni.
Szóval most csodálkozom.

Mégis így lenne, vagy valamit nem vettem figyelembe / észre?

A két hdd egyébként: WD1,5T amiről olvasok, Seagate3T amire írok. A WD kb. két éves lehet, a Seagate pár hónapos. A Seagate tudna USB3-at is, de a laptopomon nincs USB3 csatlakozó, csak USB2, tehát ez elméletileg nem lehet az előny.

G

  • 6709 megtekintés

( Dwokfur v | 2013. 03. 21., cs – 23:12 )

eSATA-val nem tudod csatlakoztatni azt a vinyót?
Én nagyobb fájlok (partíciók) mentésekre áttértem külső USB-ről eSATA-ra.

"Jegyezze fel a vádhoz - utasította Metcalf őrnagy a tizedest, aki tudott gyorsírni. - Tiszteletlenül beszélt a feljebbvalójával, amikor nem pofázott közbe."

Laptopon van eSata, de a külső hdd-k mindkettő USB-s csatlakozóval bír csak. Műanyag dobozban vannak, nem tudom megbontani (széttörni nem akarom).
Kerestem, de nem találtam olyan kábelt, vagy átalakító dobozkát, ami eSata gép és USB3 hdd között meg tudná valósítani a kapcsolatot.

( uid_2716 | 2013. 03. 22., p – 01:25 )

A jelenség magyarázata az alábbi.

  1. A target USB2 diszked írási sebessége (pontosabban a csatolás sávszélessége) saccra olyan 40 MB/s körül lehet.
  2. A forrás bz2 állományod "single stream" volt. Ez annyit jelent, hogy volt 1 db bzip2 stream header benne az elején, és a stream-ben sok bzip2 blokk. A "multi stream" bz2 állomány olyan, hogy több bzip2 stream-ből áll (stream-enként 1 vagy több, de általában 1 bzip2 blokkal). A pbzip2 nem tud single stream állományt érdemben párhuzamosítva kitömöríteni. (Blokkok között nem párhuzamosít, csak stream-ek között.) A szűk keresztmetszet így valójában 1 logikai processzor (1 db hyperthread) volt.
  3. A fentinek megfelelő kitömörítési sebesség valahol 20 MB/s körül lehetett; ez konzisztens azzal, hogy "pár perc alatt megvolt másfél G kitömörítése" (20 MB/s * 60 s ~= 1.17 GB).
  4. A maradék USB2 sávszélességet (40 MB/s - 20 MB/s) kitöltötte a belső diszkről kimenő másolás.

Single stream bz2 állományt inkább egy friss lbzip2-vel tömöríts ki, meg fogsz lepődni. https://github.com/kjn/lbzip2