Ne üvöltözzé' az adatközpontban, dude!

 ( trey | 2009. január 2., péntek - 10:41 )

A Sun Microsystems Fishworks laborjában dolgozó Brendan Gregg egy érdekes megfigyelésre tett szert. Egy időszakosan jelentkező, vibráció okozta latency problémát vizsgált egy olyan diszknél, amelyiknek a tartókeretéből hiányzott egy csavar. Miután visszahelyezte a lemezt, további diagnosztikákat engedélyezett a lemezen, de nem tudta reprodukálni a hibát. Hogy kitalálja miért és hogy megtudja, hogy a lemez milyen közel van a vibrációs ponthoz, kiáltott egyet, hogy egy kis extra vibrációt keltsen.
A teszt jobban működött a vártnál, mert nem csak abban a lemezben okozott mérhető problémát a kiáltás, amelynek a keretéből hiányzott a csavar, hanem az összesben olyan lemezben, amely mellett kiáltott. Hogy pontosan megfigyelhesse a problémát, az Analytics névre hallgató szoftvert használta. A kiáltás ritka egy adatközpontban, de a szakember nem tartja kizártnak, hogy kisebb mértékű, folyamatos zaj is okozhat ilyen jellegű nemkívánatos problémát. Ezért decibel mérővel felszerelkezve folytatja a kísérleteket.

A kiáltás okozta latency problémáról Brendan készített egy videót:

A részletek elolvashatók Brendan blogjában. Érdekesek a commentek is.

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

Tehát ha kiabálsz az adatközpontban, akkor a gépek megbosszulják. A következő lépés az lesz a felfedezésben, hogy létezik az embernél fejlettebb mesterséges intelligencia, csak eddig jól titkolták. ;)

+1, de mindenféleképpen érdekes "felfedezés", részemről nem gondoltam volna.

Számomra az a nagyobb felfedezés, hogy 1 darab csavar hiánya is olyan vibrációt okozott, amely a mérnököt arra késztette, hogy komolyabb vizsgálatba fogjon. Ez is felhívja a figyelemet arra, hogy milyen fontos a merevlemezek megfelelő rögzítése. Nem beszélve pedig arról, hogy felhívja a figyelmet arra, hogy a merevlemez milyen sérülékeny eszköz és itt lenne az ideje a széleskörű kiváltásának valami sokkal korszerűbb technológiával.

--
trey @ gépház

számomra kifejezetten tanulságos! :)
régebben én se használtam ki minden lehetőséget a becsavarozásra (csavarhiány + hanyagság)

+1 brr ki gondolta volna :P

Más léptékben ugyan, de arra is felhívja a figyelmet, hogy mennyire kockázatosak azok a "zseniális" felépítésű számítógépházak, ahol a belső kialakítás miatt egyszerűen lehetetlen mind a négy csavarral rögzíteni a merevlemezt. És nem elég abba kapaszkodni, hogy "három ponton rögzítéssel már meghatároztam egy síkot, a negyedik csavar nélkülözhető".

Egen. A múltkor akartam készíteni egy képet - mint elrettentő példa - egy gépről, amit behozott a szervizbe a hozzáértő gazdája... A kontárkodás felsőfoka volt benne megfigyelhető :D

--
trey @ gépház

Én már láttam kezdő mérnök infóstól olyan gépházat aminek a számítógépház alaplap tartólemeze meg volt hajtogatva. Képet most nem tudok feltenni, de ha kell...


sly @ w3m.hu

Minden gyöngyszemre kíváncsi vagyok, és szerintem nem vagyok ezzel itt egyedül! :) És persze okulunk is az ilyenekből!

Oké. De most az a kép tőlem 160 kmre van egy gépen ami éppen offline. De amint hozzáférek felrakom. Addig is kitarás :-)


sly @ w3m.hu

mondjuk ehhez mit szólsz? :)
http://bash.extra.hu/pic14026.jpg
az illető bevitte szervízbe a gépet, hogy rossz a ventillátor amit adtak neki

Ááááááááááááááááááááááááááááh!
És csak a ventillátor volt rossz? :-)))

első ránézésre: nem rakta rá az anyacsavart... :D

_____________________
/~MrMorden/ShadowMan
__________________________________________________
Az ujjcepsz erősítés feltétele a sok gépelés.

jesszus, hol láttál te önmetsző csavaron anyát?! :)

jesszus, és hol láttál te önmetsző anyával átfúrt alaplapot?! :)

(eléggé képtelenség mind kettő... szerintem csak nem érted a viccet... :) )
_____________________
/~MrMorden/ShadowMan
__________________________________________________
Az ujjcepsz erősítés feltétele a sok gépelés.

Erről a képről csak az jutott az eszembe hogy mekkora barmokat hord a hátán a jó öreg anya(apa)föld. Hmm... Ráadásul az ilyenek még felnőtt szavazópolgárok is. :-/

szerencsere az en gepemben torteno mindenfele alkatreszcserehez a legritkabb esetben (sem) kell csavarhuzo. persze nem feltetelezem, hogy a muanyag/fem kattanos elemek tokeletesen megoldjak a szoban forgo problemat! ...foleg hogy a gephaz folott 40 centivel hangfal, mellette 40 centivel melynyomo:)

Jujj, hogy en mennyire ruhellem a muanyag rogzitesu hazakat... Allitolag konnyen szerelheto, na most volt mar olyan, hogy ketten nem tudtunk kiszabaditani egy ilyen fortelembol egy szegeny winyot. Le lett cserelve a haz...
--

()=() Ki oda vagyik,
('Y') hol szall a galamb
C . C elszalasztja a
()_() kincset itt alant.

Nem esett szó idáig a hűtőventillátorokról, ami, különösen mondjuk egy szerverházban, felelős az állandó zaj- és vibrációszintért. Ha már egyébként a vinyót nem sikerült leváltani úgy teknológice, legalább a lapátok meg a légcsavarok eltűnhetnének végre onnét, ahova nagyon nem valók. :)

Mit tennél be helyette? Elektrosztatikus ionizátoros légmozgatót? :)
---
Linux is bad juju.

Nagy ventillátor alacsony fordulattal, az jobb, mint kis propeller nagy fordulaton. Már ahol elfér.

Inkább olyan szervert építenék, ami nem melegszik nagyon. Esetleg még organikus is, vagyis ha beüt a digitális világvége, akkor meg tudom enni. :)

nálam egyszerű a megoldás: nem csavarozom be a vinyókat, csak felfordítva lerakom egy rack fiók lehúzható tetejére ( mint egy kis emelvényre ), ami a DVD írón csücsül, így megoldott a légáramlás a két eszköz között... vibrációt sem tapasztaltam soha... persze nem is néztem soha :D
továbbá az eszköz hőmérséklet is egyszerűen vizsgálható... ráteszem a talpam a vinyo elektronikájára (fémlemezzel takart)(az elöl levő rack helyeket takaró fedelek el vannak távolítva), és ha fázik a talpam, akkor meg van rögtön oldva a fűtés, mivel a testemben keringő folyadék szerű anyag, hőcserélőként is működik, így akár extrahűtést is tudok a rendszerhez adni... :)
a viccet félretéve... ja nem nem, nem is vicceltem... :)

Régen egyébként pont a csavaros rögzítés okozott sokszor megmagyarázhatatlan vibrációt, ami rendes hanggal járt... azóta nem csavarozok be semmi HDD-t.

Arrol nem is beszélve, hogy a 60 gigás maxtor vinyom már csak hanyattvetett módban képes működni, egyébként dobja a fejet... ( és az orosz javítási technika is csak időlegesen segít ilyenkor, szóval jobb ha hanyattvetett )

_____________________
/~MrMorden/ShadowMan
__________________________________________________
Az ujjcepsz erősítés feltétele a sok gépelés.

továbbá az eszköz hőmérséklet is egyszerűen vizsgálható... ráteszem a talpam a vinyo elektronikájára

ROTFLMAO

> már csak hanyattvetett módban képes működni

Akkor arról mentettél mindent, ugye?

Amúgy milyen az az orosz javítási technika?

nem mentettem semmit, már 4 éve így működik... :) , de csak rendszer vinyó, szóval túl sok értékes adat nincs rajta, de részemről még mindig sokkal jobban megbízok ebben a vinyóban, mint egy mostanában vásárolt Samsungban pl... pedig a másik két vinyom az 200+400 gigás Samu, és bár már 1 évesek kb, még mindig nem merek rájuk másolni értékes adatot... inkább ha csak tudok mentek... illetve egy viszonylag új WD vinyóm van ami oké lekopogom... továbbá az életbevágó adatokat egy 1,2 gigás Quantumon tartom... azt biztos hogy lehet dobálni meg kalapáccsal verni... nem lesz baja...

orosz javítás: odacsapsz neki, és ha megy akkor nincs gond, ha nem megy akkor ez a technika nem használható a probléma elhárítására... :)
_____________________
/~MrMorden/ShadowMan
__________________________________________________
Az ujjcepsz erősítés feltétele a sok gépelés.

Elhivatott lehet az úriember. :-) A flash meghajtók talán leválthatják hamarosan.

Én is reménykedek (nagyon zavar mindennemű zúgás), de egyelőre még úgy tűnik, várni kell... (az SSD-k viszonylag kis kapacitásúak viszonylag drágán)

mikor 2000-ben az ibmhez kerültem, levetítettek egy videót, miszerint már van működő hologramos tárolójuk (kapacitás talán 1 tera?). akkor azt mondták, h 2013-ig fognak normál hdd-t gyártani, addigra érik el a technológia határait. illetve gondolom az új kifejlesztéséhez is kellett valamennyi idő.

Aztán eladták az egészet, még 2013 előtt. :)

Az ordítozás nem old meg semmit! Ha problémám van a vinyómmal, én baráti hangnemben beszélem meg vele.
Ennek ellenére így is ment már tönkre pár darab. Ki érti ezt... :)

----------------------------------
Pintér Miklós
blog: http://blog.pintermiklos.hu/

Lehet, hogy a bájos gügyögés pedig javítja a latency-t? :D

"Jegyezze fel a vádhoz - utasította Metcalf őrnagy a tizedest, aki tudott gyorsírni. - Tiszteletlenül beszélt a feljebbvalójával, amikor nem pofázott közbe."

Tehetseges...hogy egyeseknek mikre nincs idejuk....

Feltételezem, ezért fizetik. Hogy tesztelje, fejlessze a munkaadójának storage termékeit.

--
trey @ gépház

Arra is gondoltak, hogy az emberi lehellettel mennyire parasodnak a disc-ek?:)
Lehet, hogy feltalalta az emberunk a unix-os szondat.

Szélviharral szemben nehéz ám párásítani :)

Sikeres ember nem lehet, ha adatközpontban kell ülnie egész nap! Szar hely én csak tudom, 2 hónapig napi rendszerességgel töltöttem egy olyan helyen a műszak felét :P

Ezért nem is szoktak benn üldögélni. :) A normális szerverszobai klima és zajszint nem élőlényekre van kitalálva. Akinek ilyenben kell naponta huzamosabb ideig dolgoznia, annak részvétem. :)

--
trey @ gépház

Tudod mikor egy olyan eszközt kell hálózaton keresztül konfigurálni, aminek a hálózati kapcsolattal van problémája, kénytelen vagy on-site dolgozni :)

Erre való a KVM.

Nem, az nem erre való...

Ave, Saabi.

Halljuk.

Keyboard, Video, Mouse. Ezek megosztása több számítógép között. Ez eme eszköz feladata. De sehol nincs arról szó, hogy mindezt távolról hozzáférhetően kellene tenni.
Teljes értékű távoli hozzáférésre olyan megoldások alkalmasak, mint az iLO vagy a GSP/MP. Persze hálózati hiba esetén ezek sem érnek túl sokat (bár az MP elérhető modemen, telefonon keresztül is).

Ave, Saabi.

De sehol nincs arról szó, hogy mindezt távolról hozzáférhetően kellene tenni.

De. Csak azt IP KVM-nek hívják.

Akkor most próbáld meg a korábbi hozzászólásokat is elolvasni, miszerint nem jó gépteremben üldögélni, ezért mindenféle távoli hozzáférési technológiákat igénybe vesznek a képzett kollegák. Az általad javasolt KVM erre nem jelent megoldást.

Ave, Saabi.

Feladtam.

Aham... es az halozati problema eseten is elerheto tavolrol... cooooool.
--

()=() Ki oda vagyik,
('Y') hol szall a galamb
C . C elszalasztja a
()_() kincset itt alant.

Ez egy labor, nem egy átlagos adatközpont. Azért ül ott, mert vizsgálja a dolgokat. Másképp ezt nem lehet.

Hat, sikertelennek en nem mondanam ennek ellenere sem. Erdemes lenne megnezned a honlapjat, az altala fejlesztett tool-ok kozul parat, eleg okos srac, van mit tanulni tole (is). Az egyik Solaris Internals konyvben is volt tarsszerzo tudtommal (talan a masodik kiadase).

A toolok mellett van számszerűsíthetőbb (a Sun által) produktuma is az alkalmazásának:
http://blogs.sun.com/brendan/entry/test

Ha jól fog menni az openstorage az részben neki is köszönhető, amiből remélem valamilyen formában részesül is.

Checked. Csak felülvizsgálója volt a könyvnek. De akkor is... :)

Azért megnéznék egy dianosztikát egy desktop vinyónál ahol a gép mellett van mondjuk egy mélynyomó, és hanyagpistike rakta össze a gépet...

pch

na igen... cca. ket csavarral rogzitve (mert ugye masik oldalt 'nem fer hozza'), aztan bass boost mer' ugy a jo, hogy az asztal is vibral. biztos jot tehet

még kb 10 éve volt szerencsém ilyen teszthez egyik havernál... a vinyo kicsit belassult, a vinyo ki a ház tetejére, subwoofernek a tányérja 3 cmre helyezése a vinyohoz közelibe, max hangerő 30 Hz, a vinyo elkezdett sétálni szépen lassan a ház tetjén, de maugy nem lett baja...

egyébként ha már régi vinyok: 4 gigás maxtor, rackben sétál lóbálódzva, leszakad a rack füle... vinyo repül, kicsit pattog a végén a betonon, és 1 db bad sector sem keletkezett rajta... csak a rack sinylette meg, a vinyo nem...
_____________________
/~MrMorden/ShadowMan
__________________________________________________
Az ujjcepsz erősítés feltétele a sok gépelés.

A hangerőt mióta mérik Hz-ben?
Nem a max frekvenciára gondoltál?


Ha ismered a Slackware-t, ismered a Linuxot.

Szerintem úgy értette hogy 30Hz-es jel max hangerőn.

pontosan :)
____________________
/~MrMorden/ShadowMan

Mondjuk közeli kiabálásnál számolni kell az átmeneti hőmérséklet és páratartalom változással is...

"Jegyezze fel a vádhoz - utasította Metcalf őrnagy a tizedest, aki tudott gyorsírni. - Tiszteletlenül beszélt a feljebbvalójával, amikor nem pofázott közbe."

Ugylatszik, hogy az senkinek nem tunik fel, hogy szilveszter napjan 22-ora korul csinalja.
Vagy csak nem tunt fel senkinek, vagy ez a legtermeszetesebb dolog, amit ember ilyenkor csinalhat.
Reszemrol ez szinte teljesen normalis... :)

Az feltűnt, hogy az új év első percében is több mint 100 ember volt jelent a HUP-on és múlatta az idejét kockasággal, ahelyett, hogy mulatott volna? :) Ilyenek ezek a kockák.

--
trey @ gépház

Hehe :-)) ezzel magadra is lőttél, ha ezt lested újév első percében, akkor te is itt voltál közöttük, vagy ? :))

---------

r=1 vagyok, de ugatok...

Azert az is lehet hogy csak kileste stats logbol, nem? :)

Kinőttem én már abból a korból. :)

--
"Only an expert can deal with the problem"

Nem is vagyok kocka, lassan már gurulok :-)

--
Elméletileg nincs különbség elmélet és gyakorlat között. Gyakorlatilag van.

... ha jol vagy eldobva... :-)
--

()=() Ki oda vagyik,
('Y') hol szall a galamb
C . C elszalasztja a
()_() kincset itt alant.

Átváltva high-res videóra, a monitorról leolvasható hogy 2009-01-01 05:54 és 05:58 között volt a mérés. Ez teljesen normális időpont, a tapasztalat szerint én is ilyentájt szoktam a leghasználhatóbb lenni.

Más kérdés, hogy ekkora halálkiáltással memória-paritáshibát is lehet csinálni.

> én is ilyentájt szoktam a leghasználhatóbb lenni.

Újév hajnalán? :) Végülis ja, nem árt, ha minden évben néhány percet hatékonyan tudsz dolgozni. :)

Elobb kiderult, hogy ha duhosek vagyunk nem szabad rugdosni a gephazat, most meg mar csendbe is kell maradni mellette :-D Vagy rendesen becsavarozni, ugye.

A notebook merevlemezek ahhoz kepest jol birjak, ultem mar vele durvan razkodo vonaton, bombolt mar mellette ket hatalmas hangszoro, es eloszeretettel ugrom le vele a masodik-harmadik lepcsofokrol mikozben a kezemben van.

Gyilkos :P

...Ejtettem már ki a kezemből kb. 1 m magasról 11 éves notebook-ot, még működ. :)

"Ne próbáld meg otthon!"
Ezt mondjuk könnyű lesz betartani... ;]

--
http://htmmblog.enba.hu/

Csak egy apróság merült fel bennem.
Az újabb meghajtókba majd mindbe építenek gyorsulásmérőket. Ezek egyrészt a laptop vinyókat védik azzal, hogy amikor hirtelen leesik a gyorsulás kiparkoltatják a fejet így a becsapódás pillanatában, nem az értékes adatokat tartalmazó területbe üt a fej.
A komolyabb meghajtókban, pont a vibráció ellen (földrengés, munkagépek okozta rezgés) védenek, azzal hogy ilyen esetekben kiparkolják a fejet.
A másik gyakori alkalmazás, a spindle csapágyak állapotának a monitorozása. Ezeknek az öregedésével a vinyó által termelt mechanikai rezgés nő, ennek a mérésével, egyrészt növelhető az élettartam (spindle fordulatszám csökkentése a kopás mértékében), másrészt előre jelezni lehet az adott meghajtó meghibásodását.

--
"Maradt még 2 kB-om. Teszek bele egy TCP-IP stacket és egy bootlogót. "

Amennyire értettem, itt nem csak a meghibásodási lehetőségről, hanem tartósan fennálló probléma esetén teljesítmény-csökkenésről is szó van. Feltételezem, hogy hiányzó csavar miatt az egyik lemez szarakodott, a storage nem hozta azt a névleges teljesítményt, amit kellett volna és ez vezethette rá a figurát, hogy kinyomozza, hogy wtf.

--
trey @ gépház

Logikusan, mivel a meghajtó elektronikája úgy van beállítva, hogy amennyiben megnő adott fordulaszámon a tárcsaköteg rezgése, akkor csökkenti a fordulatszámot egész addig amíg a rezgés értéke "normális értékre csökken". A megajtó tárcsáinak véges a merevsége. Ha a tengely elkezd ütni, akkor a kifelé haladva egyre nagyobb lesz a tárcsa ütése, ami extrém esetben megközelítheti a fej és tárcsa közötti hézag vastagságát.
A zaj, kiabálás esetén, az elektronika azt hiszi, hogy a meghajtóval van probléma, és emiatt fogja vissza a teljesítményt.
--
"Maradt még 2 kB-om. Teszek bele egy TCP-IP stacket és egy bootlogót. "

Sőt, az MS-DOS-ban az 5-ös verzióig még volt PARK parancs is!

nekem kicsit fura szitu amikor véletlenül rájön az ilyenre valaki... véletlen ott voltam a vinyó mellett, amiben véletlen nem volt csavar, utána pont latencyt akartam megnézni és megvilágosodtam?!?!

Erről nekem a régi, klasszikus vicc jutott az eszembe:
- Pista bácsi, zörög a sárhányó!
- TESSÉK?
- ZÖRÖG A SÁRHÁNYÓ!
- NEM HALLOM, FIAM, MERT ZÖRÖG A SÁRHÁNYÓ!

:)

--
"Only an expert can deal with the problem"

Regi es faraszto vicc, de ez most jol esett, koszi! Fel oraja rohogok xD

Kb. úgy 8 éve egy főiskolai előadásra eljött a KÜRT-től egy emberke...
Az Ő szájából hangzott el a mondat, melynek ez volt a lényege: nem célszerű betekerni mind a 4 csavart a merevlemez beszerelésekor, mert pontatlan/rossz rögzítés esetén feszülni fog a merevlemez háza és ez problémákat okozhat... :)

Gumialátét a ház és a HDD közé (a kék) Brand gyártók már 10 évvel ezelőtt is így szerelték a gépeiket.

--
trey @ gépház

Ez tetszik.

Mert az oké, hogy rögzítsük rendesen a vinyókat, nade a ház is remeghet, tele van ventillátorral, amelyeknek közel sincs olyan csapágyazásuk, mint egy vinyónak. Rezegnek, zizegnek, ház átveszi a hangot, szilárd anyagok jól is vezetik a rezgést. Szóval arra gondoltam, lehet, hogy minél jobban rögzítem a vinyót, annál jobban fog rezegni.

A kérdés már csak az, hogy mi a jobb:
- egy rezgő házban egy rezgéscsillapított környezetben (alátéttel) szerelt diszk, vagy
- egy nem (vagy csak jóval kisebb frekvenciával és esetleg nagyobb amplitúdóval) rezgő stabil tárgyra rezgésmentesen szerelt diszk

Én azt gondolnám, hogy ez utóbbi, bár lehet, hogy tévedek. (és persze kérdés, hogy egy épület födémje pld. mennyire rezeg, vagy rezegne, ha arra csavaroznánk közvetlenül a diszkeket :)

két dolog mozog a vinyóban:
- egy nem tökéletesen kicentírozott tányér, ekkor arra gondolok hogy két gyerek egymás kezét fogva a közös középpont körül forog, elképzelni nem tudom hogy máshogy lenne, és ugye a természet megtalálja magának mi a jó:) azaz jobban kopik a "csapágy" meg jobban deformálódik a lemez, meg a többi ha az egyiket leszögezzük, mert nagyobb erő fogja a gyerekeket szétrepíteni, tehát hadd legyen csak cérnára fellógatva, ne rárőszakolva a házra (igen, ha az egyik gyerek milliószor nehezebb akkor is a körös pont körül mozog.., ez még így se teljes de ha alaposabban végiggondolom is jónak tűnik , ide nem gondolom ezt most kifejteni :) )
- a másik a fej, pontosabban most kar, ez meg most inkább a szabályozás érinti mint mechanika hatást szerintem, de nem értek se a szabtechhez se ahogy hogy hogy van megvalósítva, csak egy futó igen pontatlan mérést végeztem most (random access time) lecsavarozva meg cérnára lógatva és nem találtam különbséget

a lényeg szerintem hogy a fenti okoskodásomnak (ha van egyáltalán valami igaságtartalma sem) nincs jelentősége, mert ezeken kívül lényegesebb szempont van, amit te is meg más is említett, azaz a konkrét alkalmazás, pl hogy lábmelegítőnek használjuk-é, vagy légkalapács van- e mellette, stb.

tehát arra gondoltam két eset van: a lábmelegítésnél rögzíteni kell, a légkalapácsnál nem

előbbinél ritkán de nagy zavar, utóbbinál állandóan de kicsi éri a winyót

ritka nagy zavar (pl véletlen a takarító betéved részegen azadatközpontba és lelökné lábmelegítés közben a betoonra:) ) nem engedhető meg (kis élettartam vagy teljesítményjavulás ellenében sem), ez az adatközpont ahol nincs légkalapács meg kiabálni sem szabad :)

ha tudjuk biztosítani a nyugalmat, tehát nem kikbokszpartnernek tekintjük , és inkább zajt szeretnénk csökkenteni meg talán egy kis élettartalmat növelni, akkor fel lehet megfelelően lógatni (a cérna önmagában azért nem jó)

elképzeltem ahogy a megmagyarázhatatlan probléma hatására vérben forgó szemekkel a haját tépve egyszer csak nem bírja tovább és felordít... összeszedi magát, arra gondol hogy nem sikerül, és megy kikapcsolni a cuccot, amikor aztán meglátja hogy reprodukálta a hibát. Nem tudja hogy sikerült, és reménytelenül megint elkezd ordítani... amire aztán a gép "válaszol". ÉS RÁJÖN!
persze ezt úgy kell előadnia, hogy nyugodtan oldotta meg:)

Lappangó problémáról van szó?