>150 millió fájl átmásolása [megoldva]

adott egy diszk, amin van csillió apró fájl. ebből kellene nekem egy
jelentős részét átmásolnom egy másik diszkre. rögtönzött rsync benchmark
alapján ez több napig tartana.

ha az egész fájlrendszert dd-vel image-ben áttolom, akkor megvan se'perc
alatt, csakhát akkor meg a fölösleg lepucolása tart irdatlan sokáig.

szerintetek, ha szerzek kölcsön (megfelelő kapacitású) SSD-ket, rátolom
a filerendszer-imaget, majd dolgom végeztével a kész fájlrendszert pedig
szintén image-ben költöztetem a céldiszkre, akkor nekem jó lesz, vagy
van erre valami értelmesebb, "csavarhúzó nélküli" megoldás?

technikai background:
forrás diszk = SCSI RAID 1+0 (dpti)
cél diszk = SAS RAID 1+0 (cciss)
fájlrendszer: ext3
oprendszer: linux 2.6.3x

(szerk: valószínűleg az lesz a csavarhúzó nélküli megoldás, hogy átpakolom úgy a könyvtárstruktúrát, hogy dump-restore páros ráereszthető legyen)

Hozzászólások

Azt olvastam, hogy a partimage a dd-hez hasonló, de a free területeket nem viszi át.
Meg még tar-t szoktak ajánlani ilyenkor.

Az rsync-dd kozotti aranytalan teljesitmenykulonbseg (tobb nap vs 1 ora) azert van, mert irgalmatlanuk fragmentalt (ebbol a szempontbol) az fs.

az ssd jo otlet, olcso vacak is lehet (aminek vacak a random irasi teljasitmanye)

1) eredeti --dd--> ssd
2) mkfs tavoli
3) mkfs lokalis
4) ssd --rsync szelektalt--> tavoli
5) ssd --rsync szelektalt--> lokalis
6) ssd kidob.

legyen elotte mentesed :-)

ha két külön kontrolleren van a forrás meg a cél diszk, akkor nem látom értelmét az ssd-nek.
Ha nagyon válogatni kell a fájlok között, akkor megcsinálod a shell scriptet, vagy bármit, ami megtalálja a másolandó fájlokat és cpio.

De. Ugyanakkor 150000000 file átmásolása kb. ugyanannyi idő akkor is, ha:

- először szelektál és másol
- másol, majd szelektál
- ssd-re dd-zi, majd szelektál és másol
- ...

Szóval a csodafegyver még várat magára.

Én mondjuk a céldiszket hozzáadnám a raid1-eshez és miközben az mdadm építkezik, közben már szelektálhatok is. Persze ez itt nem biztos, hogy lehetséges, mert ki tudja, hogy miről van szó ?!

Amikor felszedi a forrásfájlokat, akkor seekelnie kell, de ezt mindenképpen meg kell csinálni, akár ssd-re ment, akár diszkre. Meg amikor leteszi, akkor is.

A gond akkor van, ha egy diszken van a kettő, csak két külön partíción, mert ilyenkor folyamatosan röpködni fog a diszk feje a két terület között és az időigényes.