Szerencsére hétfőn megérkezett a 8 db 3 TB-os lemez, amelyekből hat veszi most át a korábbi 24 helyét.
Kíváncsiságból összemértem, hogy 24 TB hogy viszonyul méretben 35-höz. :)
A költözés a 24 (illetve már csak 21) diszkről nem volt izgalommentes. Mivel kb. 7 TiB átmásolása eltart egy kis ideig, a gépben viszont csak 24 diszkhely van, a két RAIDZ2-ből pedig egyenként maximum 2 diszk távolítható el (és ha a másolás közben egy is meghal, ugrott az egész pool), kicsit izgultam, hogy sikerül-e.
Innen indultam:
NAME STATE READ WRITE CKSUM
data DEGRADED 0 0 0
raidz2-0 DEGRADED 0 0 0
da1 ONLINE 0 0 0
da0 ONLINE 0 0 0
da2 ONLINE 0 0 0
da3 ONLINE 0 0 0
da4 ONLINE 0 0 0
da5 ONLINE 0 0 0
da6 ONLINE 0 0 0
da7 ONLINE 0 0 0
da8 ONLINE 0 0 0
14906625626492785654 OFFLINE 0 0 0 was /dev/da9
da10 ONLINE 0 0 0
da11 ONLINE 0 0 0
raidz2-1 DEGRADED 0 0 0
9633427978154174845 FAULTED 0 0 0 was /dev/da12
12196027641686613822 OFFLINE 0 0 24 was /dev/da13
da14 ONLINE 0 0 0
da15 ONLINE 0 0 0
da16 ONLINE 0 0 0
da17 ONLINE 0 0 0
da18 ONLINE 0 0 0
da19 ONLINE 0 0 0
da20 ONLINE 0 0 0
da21 ONLINE 0 0 0
da22 ONLINE 0 0 0
da23 ONLINE 0 0 0
Nem akartam a szükségesnél jobban kockáztatni, így a kiesett/eltávolított három diszk (fizikai) helyére tettem be a három újat, létrehoztam rajta a poolt (3 diszkes stripe), majd zfs send | receive-vel hétfő délután elindítottam az élő poolból az új poolba a másolást.
Tegnap este úgy nézett ki, hogy hajnalra véget ér, de az éjszakai mentés és takarítás betett neki, elvitte az IO nagy részét, így reggel 9-re ment át az adat.
Délután csináltam még egy snapshotot, amit rátoltam (majd' 200 giga lett, nem kevés), és exportáltam a régit, majd importáltam az újat a régi nevével.
Mivel ez még csak egy három diszkes "RAID 0", viszont az adat már megvolt, már kivehettem a régi diszkeket, betehettem az újakat, és elindíthattam a mirrorok kialakítását.
Most itt tart:
pool: data
state: ONLINE
status: One or more devices is currently being resilvered. The pool will
continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
scan: resilver in progress since Thu Aug 30 17:11:20 2012
2.27T scanned out of 6.46T at 167M/s, 7h19m to go
2.27T resilvered, 35.11% done
config:
NAME STATE READ WRITE CKSUM
data ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
da12 ONLINE 0 0 0
da0 ONLINE 0 0 0 (resilvering)
mirror-1 ONLINE 0 0 0
da9 ONLINE 0 0 0
da14 ONLINE 0 0 0 (resilvering)
mirror-2 ONLINE 0 0 0
da13 ONLINE 0 0 0
da1 ONLINE 0 0 0 (resilvering)
cache
ada0s2 ONLINE 0 0 0
ada1s2 ONLINE 0 0 0
errors: No known data errors
Azaz még kb. hét óráig veszélyben a pool, ha közben elhullana valamelyik (új) diszk, de bízom benne, hogy ezek is legalább annyit kibírnak (picit naív feltételezés :), mint a korábbi WD-k.
- bra blogja
- A hozzászóláshoz be kell jelentkezni
- 1770 megtekintés
Hozzászólások
Ezek SATA lemezek, ugye? Mert én nem SATA lemezt kb. 4-5-öt láttam elpusztulni az elmúlt 10+ évben. Pedig jónéhányat pörgetek storage-okban, szerverekben 7/24/365-ben.
--
trey @ gépház
- A hozzászóláshoz be kell jelentkezni
Melyikek? Az ftp.fsn.hu-ban SATA van, mi más lenne, az a low cost department. :)
Az MDS600-ban nearline SAS van (1 TB-os, dual path diszkek, amikor vettük, az volt a legnagyobb, most már lehet abba is 2-3 TB-osakat kapni).
Céges szinten szerintem kb. annyi SAS diszket dobhatunk ki egy rosszabb napon, amennyit az FSN megevett hét év alatt...
Mennyi az a jónéhány egyébként (a képen 5U-ban van 70 diszk, ezekből gyorsan összejön a párezer), milyen diszkek, és csak pörgeted-e?
Mi a fejeket is tornáztatjuk ám! :)
--
zsebHUP-ot használok!
- A hozzászóláshoz be kell jelentkezni
A Nearline SAS, az a marketingileg felturbózott SATA, nem? "Enterprise SATA", SAS interfész? Pusztulnak mint legyek az első őszi fagykor. Én ezeket csak SATA számba veszem. :)
"Mennyi az a jónéhány egyébként, milyen diszkek, és csak pörgeted-e?"
Sose számoltam össze, hogy az összes ügyfélnél az összes storage-ban és szerverben mennyi diszk van, de ezres nagyságrend. Gondolom használják is, mert mi másért adnának értük pénzt? :) A terhelésükről pontos fogalmam nincs, csak azokéról, amit mi üzemeltetünk. Változó.
--
trey @ gépház
- A hozzászóláshoz be kell jelentkezni
Amennyiben a SATA diszkre rakott SAS kontrollert annak hívjuk, akár azt is mondhatjuk, hogy igen. De ezek (a HBA felől) rendes SAS drive-ok, csak lassabban pörögnek (ezek 7200-esek). A SAS és SATA között meg kb. annyi a különbség, mint anno az ATA (IDE) és SCSI között volt. Ég és föld.
Hát nekünk csak ilyen MDS 600-ban van "ezres nagyságrend", és ilyen dobozunk alig van pár (sajnos, pedig én nagyon szeretem :).
Szerintem ha a darabszámhoz viszonyítom, 2,5-es 10-15k-s SAS diszkből is hullik el kb. ennyi, talán csak egy picivel rosszabbak ezek a konkrét TB-os cuccok.
--
zsebHUP-ot használok!
- A hozzászóláshoz be kell jelentkezni
Az NL SAS-oknak pont az a gyenge pontjuk, ami a legfontosabb. A belük (értem alatta a mechanikát). Népi megfigyelés.
--
trey @ gépház
- A hozzászóláshoz be kell jelentkezni
Lehet, de ilyenkor mindig fel kell tennem a kérdést: ha egy rendes SAS diszk áráért kapsz két/három (/GB árban pld) NL SAS-t (ami elektronikailag ugyanúgy OK), akkor nem éri-e meg őket 1-5 (mostmár sajnos inkább 1) évig garanciáztatni, utána meg a feleződött áron újat venni?
És még mindig az eredeti kiadásaid alatt vagy.
Legalábbis ott, ahol nagy mennyiségű adatot kell tartani, és nem elsősorban a minél nagyobb sebesség a fontos (de ez utóbbi sem vészes, az írás gyorsítására ott vannak az 1-2 GB-os FBWC-k, az olvasásra pedig párszázezerért már TB-nyi MLC SSD-t kapsz, amit pont ugyanígy tudsz cserélni, a "rendes" SLC áráért három évig vehetsz évente duplázódó kapacitást, és leszarod akár azt is, hogy évente megdöglik (a jobbak azért kibírják kettőig :).
--
zsebHUP-ot használok!
- A hozzászóláshoz be kell jelentkezni
Jaja, ahova nem kell nagy teljesítmény és olcsón kell sok hely, oda az NL SAS a jó választás. Disk-to-disk backup stb.
--
trey @ gépház
- A hozzászóláshoz be kell jelentkezni
Ezt lehet kibővíteni (a dataset jellegétől függően egészen sokáig) SSD-kkel és (B|F)BWC-s kontrollerekkel.
Pld. van olyan hely, ahol kell 6-8k IOPS írásra (kevés adat, kis blokkok), ilyet a leggyorsabb SAS diszkekből sem raksz össze értelmes keretek között, SLC SSD-ből is drága, viszont egy smartarrayre kötött bármilyen gagyi diszkkel write cache-sel kijön akár 60k IOPS is.
--
zsebHUP-ot használok!
- A hozzászóláshoz be kell jelentkezni
> Mert én nem SATA lemezt kb. 4-5-öt láttam elpusztulni az elmúlt 10+ évben.
Akkor javaslom tanulmányozásra a HP Proliant G5 sorozatba / G6 sorozat elején szállított 146 és 300GB-os 10kRPM SFF SAS diszkeket, főként az első szériás single portosakat. Igazi enterprise érzés :)
- A hozzászóláshoz be kell jelentkezni
Nem volt "szerencsém" hozzájuk. Mondjuk az is tény, hogy ha tehetem, akkor kerülöm az small form factor lemezeket. Ne kérdezd miért, de ha kérdezed, akkor azt válaszolom, hogy engem a notebook HDD-kre emlékeztetnek :D
--
trey @ gépház
- A hozzászóláshoz be kell jelentkezni
Pedig a szerverekben lévő SFF diszkek nagy része a notebookokba bele sem megy (túl magasak). :)
- A hozzászóláshoz be kell jelentkezni
> Ne kérdezd miért, de ha kérdezed, akkor azt válaszolom, hogy engem a notebook HDD-kre emlékeztetnek :D
Ez ismerős érzés :) ... ellenben manapság a HP szinte az összes "nagyobb" szervert SFF diszkkel szállítja. Egyébként bitang jó, hogy elfér "élére állítva" 2U helyen.
- A hozzászóláshoz be kell jelentkezni
En mar nem is szamolom, mennyi diszket csereltem az elmult 7 evben.
Sokat SATA bol ugy 20 30 darabot, SCSI bol most hullot el ket 10en eves 36G a tobbi koszoni jolvan.
Ma is csereltem ketto SATA diszket.
http://karikasostor.hu - Az autentikus zajforrás.
- A hozzászóláshoz be kell jelentkezni
Van pár 500Gb-os WD RE-m hideg tartaléknak, ha kéne egy kis segítség...
"Jegyezze fel a vádhoz - utasította Metcalf őrnagy a tizedest, aki tudott gyorsírni. - Tiszteletlenül beszélt a feljebbvalójával, amikor nem pofázott közbe."
- A hozzászóláshoz be kell jelentkezni
Lement a resilver? :-)
--
Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal - A hozzászóláshoz be kell jelentkezni
Le.
Az a vicces, hogy a hat diszk elméleti IO kapacitása is nagyobb mirrorban, mint a korábbi 24-é RAIDZ2-ben. :)
--
zsebHUP-ot használok!
- A hozzászóláshoz be kell jelentkezni
Nem tudom, mennyire van erre rahatasod, de az opensuse mirrornal nem lehetne, hogy -1 verziot meg tartsatok? Jelenleg mar csak az Integrity hostol 11.4-es mirror-t, es neha elegge le van terhelve, viszont a mirrorbrain eleg sokszor azt adja ki. Mondjuk, ezzel egyutt is jobb, mint az osztrak... Par giga az egesz (4 vagy 6 most nem tudom).
--
Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal - A hozzászóláshoz be kell jelentkezni
rsync: server sent "This server is busy, sorry - all public rsync slots are used at the moment." rather than greeting
De majd ha beenged, lejön.
--
zsebHUP-ot használok!
- A hozzászóláshoz be kell jelentkezni
Koszke. :-) Szeretem az fsn szervert, mert relative gyors. Es hazai, tehat olyan neten is gyors, ahol a kulfold pocsek (pl. az itthoni GTS ADSL-em eleg lassu kulfoldre).
--
Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal - A hozzászóláshoz be kell jelentkezni
Elindult, jön lefelé.
Szerintem mostanában a sebességgel (hacsak nem Gb közelire vágysz) nem nagyon lehet gond, csak a régi diszkek miatt állt meg néha. Remélem az újakkal most nyugi lesz egy darabig (és nem a gép, vagy a switch lesz a következő, ami megpurcan, amit még nehezebb a diszkeknél cserélni).
Apropó, nincs valakinek levedlett menedzselhető 12,24,x portos gigabites switche? :)
Abban a c2970-esben egyre kevésbé bízom. :(
--
zsebHUP-ot használok!
- A hozzászóláshoz be kell jelentkezni
Sajnos max egy c2980-ast tudnek osszeszedni, de ha jol emlekszem csak osszesen egy vagy ket port gigabit benne, a tobbi 100-as.
- A hozzászóláshoz be kell jelentkezni
Ahh, meg a 100-at se mindig hajtom ki. Inkabb az a gondom, hogy a GTS ADSL-jerol _nagyon_ szar a kulfold, illetve a mirrorbrain neha meghulyul, es kapok tunguzkai mirror-t is, amivel alapvetoen nincs bajom, csakhat szegenykem lassu, mint a rajzolt csiga.
--
Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal - A hozzászóláshoz be kell jelentkezni
Épp ma töltöttem le (nem GTS) 98 MBps-szel külföldről. Hol tart már a technika. :)
--
zsebHUP-ot használok!
- A hozzászóláshoz be kell jelentkezni
/me csendben irigykedik. :-)
Btw, annyira jo a fsn mirror, hogy a opensuse mirrorbrain be is jegyezte a 11.4-hez feldobhato mirrornak a szervert. Merfoldekkel fogok gyorsabban haladni a frissitesekkel. Halam orokkon...
--
Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal - A hozzászóláshoz be kell jelentkezni
A rengeteg elpusztult diszk hova kerül végül? (Környezetvédelem, adatvédelem.) Köszi!
- A hozzászóláshoz be kell jelentkezni
Akkor az "orok bitmezokre" nem az a valasz, amit keresel? :-)
--
Ki oda vagyik, hol szall a galamb, elszalasztja a kincset itt alant. | Gentoo Portal - A hozzászóláshoz be kell jelentkezni
Az adatvédelem itt nem játszik (FSN), nincs érdekes, érzékeny adat. Tavaly nyárig semmit sem dobtam még ki (informatikai eszközt), de a költözés okán a feleségem egyértelművé tette, hogy ezen változtatnom kell, illetve más tényező is volt (gyorsan meg kellett szabadulni a cuccoktól, mert jött a következő lakó).
Két autónyi kacatot dobtam ki a közeli telepre, ott egyébként átvesznek mindent, kivéve a floppykat. Azokkal még nem tudtam mit kezdeni.
Kicsit fájt a szívem, Adaptec SCSI vezérlők, kábelek, rég elhullott, vagy még működő, de kb. használhatatlan (MFM, IDE, ezerféle SCSI egészen a 18 GB-osig) az FSN majdnem összes iterációjának minden darabja stb...
Céges oldalon persze más, a diszkeket adatmentesíteni kell, ez a gyakorlatban asszem zúzás. A jó megoldás egyébként az, hogy diszkre nem írsz olyat, aminek az elvesztése miatt fájna a fejed (titkosítás, erre is vannak célberendezések, pld. SAS-FC titkosítók, vagy szoftverből, host oldalon).
--
zsebHUP-ot használok!
- A hozzászóláshoz be kell jelentkezni