Szerverterem-építés Angelo módra (x)

Címkék

Hogyan kezdjünk hozzá, mely paraméterek határozzák meg a milyent és hogyant? Angelo tapasztalatai az elmúlt 20 évből, és a most épülő legújabb RackForest szerverterme kapcsán. További részletek »

Hozzászólások

A rackszekrényeknek körülbelül 3-4 kW IT teljesítményre és hűtésre van szüksége. 

ez csak nekem hangzik nagyon kevesnek? 6.5kW a max felvetele egy DGX A100nek... egynek.

Ezek az általános coloc adatok. Aki bevisz egy ilyen brutáliát, az majd fizeti szépen a villanydíjat, meg a plusz hűtést. Ráadásul per rack (hely) átlag. Rengeteg félig teli, vagy akár néhány eszközzel megpakolt fél vagy egész racket látok, amiben ránézésre erős izgalmi állapotban ha 0,5-1kW fölé mennek, akkor pezsgőt bontanak. Nekem sima HP gépekkel, meg néhány switch-csel olyan 2-2,5kW fogyasztást sikerült elérni, és ezen már nekiálltunk reszelni lefelé, mert idén sem volt olcsó a villany, és jövőre drágulásra számítok.

Én annak örülnék, hogy ha a 80-as rack lenne a standard, mert én elhiszem, hogy ez a 60-as ez naonsűrű, és naonminden, de ha rendesen pakolod bele a szervereket, akkor megbolondulsz a kábelezéstől. (Igen, akkor is, hogy ha rendesen kábelhosszokat használsz.)

de, de, APC kiraly, de en ugy tudom megvette a schneider - meg a regi APC rackjeinkhez is kuldtek uj schneider logot, hogy csereljuk le... :D

szerk: In 2007, Schneider Electric acquired APC and combined it with MGE UPS Systems to form Schneider Electric's Critical Power & Cooling Services Business Unit,

ja, bocs, en viszonylag uj motoros vagyok a szakmaban :), az elso komoly DC projektem ~8 eve volt, az elott csak ware^Z^Z^Z^Zhobbiszinten szerverkedtunk.

(a BIX alagsoraban flexeltunk mi gephazat, hogy beferjen a sok vinyo, es ne alljon mar annyit a nagyon fontos "szolgaltatas", valahol meg kepem is van :D)

a mi laborunkhoz tartozik tobb elektronikai labor es egy gepeszeti csapat is, akihez odamehetsz ha kell valamit epiteni.

"figyelj jozsi, kene nekem 24k karatos aranybol egy gomb, meg egy dilution refrigerator (nem tudom mi ez magyarul), ossze tudnatok dobni?" (nyomokban megtortent esetet tartalmaz)

Hajaj. :) 80 mint szélesség, mértékegység mint centiméter. A mélység az igényfüggő. A hazai coloc-okban 80-assal, és néhol 100-as (centiméter, meg mélység) találkozni, kivéve ahol láthatóan egyedi racket hoznak.

Egy coloc termet egy saját igényre szabottal valszin kár összehasonlítani, mert finoman szólva is "nagy szórás mutatkozik az igényekben". Valóban az van a colocban, hogy mondjuk a per rack 3-5-7kW az simán elég lehet, najó a 3kW könnyen szűkös, de lehet már az is átlagon felüli felhasználás. Sokan csak előírások miatt mennek egyedi zárható szekrénybe a cuccaikkal, aztán bekerül 3 szerver és egy storage, némi switch, meg backup, osztán ez adot esetben az 1kW-ot is szűken éri el normális cuccokkal.

Biztosan nem az UPS gyártó. Mi HP szerverekhez HP szekrényt, Fujitsu szerverekhez Fujitsu szekrényt stb. szállítunk használunk. Nem is szokott velük gond lenni.

Ha az ügyfél spúr, akkor az ő felelősségére azt, amit akar, de onnantól kezdve ha szopás van vele, akkor ő állja a plusz munka díját.

trey @ gépház

Mi nem nagyon foglalkozunk szedett-vedett dolgokkal. Ha igen, akkor max. kényszerből.

Szeretjük a factory installed szekrényeket is, ahol a gyárban beépítenek mindent, be is kábelezik. Na, olyanra ritkán csinálják meg a hazai jómunkásmeberek a rackeket, mint a gyári előre összeépített. :D

trey @ gépház

egy kezemen meg tudom szamolni mikor lattam akkora termet, ahol minden egy gyartotol volt, es nem par rack volt hanem 50+, a gyarto altal elore leszallitva, bekabelezve, ... de persze, elmeletben jol hangzik. tipikusan ilyenek a supercomputing projektek, abbol azert pedig valljuk be, nincs sok evente.

Igen, dobozközeli békanézetből tűnhet így, aztán azért vannak más szempontok is. Műszakiak is, üzletiek is.

NagyZnek is: én egyszer már jártam egyébként olyanban, ahol a tulaj közölte, hogy ide háromféle dolgot lehet behozni: sunt, sunt, meg sunt. Nagyon szép volt, szerelni bizonyára sokkal jobb volt benne, mint bárhol máshol, és összességében az egész sokkal szarabb volt, mintha hagyták volna a vendorokat a saját dolgaikkal dolgozni legalább valami épeszű kompromisszumon belül. (És egy sör mellett meghallgathattam azt a legendáriumot, hogy egyébként kellő kézügyességgel és egy kis baszakodásra való hajlammal azt hiszem HPkra egész jól lehetett sun bezelt szerelni.

Persze érti. Mondom, szerelés, szerelvényezés szempontjából a mondatod igaz lehet. De attól, hogy fontosabb az, hogy pl a hálózati eszköz a teljes stacken egységes legyen, akkor is, ha, szebb lenne a hp switch a hp serverek felett, vagy hogy inkább van egyféle szerkrény mindenkinek, minthogy egy sun szekrény mellett álljon egy hp, ami mellett meg egy dell, vagy hogy mondjuk egységes vezérelhető PDUkat használnak, attól még nem lesz az egész szedett-vetett. Max annak a szemszögéből, aki pusztán azt látja, hogy hát esetleg flexelni kell. 

Értem én (egyébként nem, a diszkurzus szervertermekről szól), csak sikerült előadnod, hogy ti nem nagyon foglalkoztok szedett-vetett vackokkal, mer minden, ami nem egy gyártótól jön, az szedett vetett. Meanwhile a nagyobb projektek igen jelentős részénél teljesen irreális, hogy minden ugyanattól a vendortól legyen, és attól még, hogy a bladek xtől jönnek, a networking ytól, a szünetmentes meg Ztől (és benne se lesz a szerkrénybe ;) ), néhány komolyabb céleszköz meg HW applianceban fog megérkezni, a szekrények pedig mind ugyanazok, attól még ez bizony nem lesz szedett vetett. És amikor te egy 200 rackes rendszert ilyenkor leszedett-vetettezel, mert nem minden ugyanonnan jön, hát akkor bizony egyrészt elég békanézetből kommunikálsz, másrészt kissé fogalmatlannak is tűnsz.

Leszarom, hogy 200 rackes a rendszer vagy sem, ha nem egységes, akkor szedett-vedett. Ha szedett-vedett, akkor több vele a probléma minden szempontból, mintha nem az. Színezheted, beszélhetsz felső perspektívából, valójában nem igazán érdekel. Az sem, hogy a 200 rackes jaszkariban miért nem lehetett legalább racken belül tartani az egy brand elvet.

trey @ gépház

Igen, értem, hogy leszarod. Ha képtelen vagy felfogni, hogy miért nem jó az, hogy pl a 200 rack tetején 6 különböző TOR switch van, az nem az én bajom :) Egyébként azért nem lehet, mert ez a csavarhúzós emberen kívül senkit nem érdekel, rohadtul nem az alapján fognak vendort választani, hogy a technikus mikor egyszer összeszereli, meg néha valamiért belenyúl, akkor mennyire kényelmes neki. Arra meg jobb helyen szokás ám figyelni, miközben az ember összeválogatja, hogy ne kelljen flexelni, mert belemenjen rendesen az összes doboz, hálistennek a mm az eszköz adatlapján is rajta van. Sőt, még arra is szokás, hogy pl a sokkábeles szekrényeknél ne valami minimál szélességű szar legyen.

Ha meg azt se tudod elképzelni, hogy a 200 ugyanolyan szekrény miért tűnik kevésbé szedett-vetettnek mint ha van ott 200 szekrény 6 gyártótól összevissza, akkor még a békanézetes szépérzéked se feltétlen annyira jó egyébként.

De, el tudom képzelni az összes sirámodat, csak éppen leszarom. Ugyanis a 200 rackes világon kívül is létezik világ. Valószínűleg ezt meg te szarod le, legalábbis az arroganciádból ítélve.

Egy valamire kértelek mindössze, hogy ami nem egységes azt nevezzük szedett-vedettnek. De ha erre sem vagy képes, akkor nevezd a szedett-vedettet egységesnek. Nekem aztán teljesen mindegy, hogy mivel ámítod magad.

trey @ gépház

Arrogancia ügyben egy tükröt javasolnék. 

Azt próbálom neked elmagyarázni, hogy egységes az, csak máshol vannak az egységek. És egyébként ha szerinted az, hogy van egy vödör rack egy gyártótól, a szerelvényeivel, az összes netwörk cisco, az összes szerver/blade dell, a standalone storageok meg valaki olyantól jönnek, az szedett-vetett, hát, lelked rajta. Főleg, ha szerinted ezzel szemben az egységes az, hogy 4 gyártó négy különböző rackja váltja egymást. Nem szarom én le egyébként a kisebbet, egyszerűen csak próbálom elmagyarázni, hogy egyrészt a szedett-vetett definíciód rohadtul nem állja meg a helyét egy bizonyos méret után, meg azt, hogy ha egy IT infrát ez alapján nevezel szedett-vetettnek, és puffogsz, ha valaki azt mondja, hogy ez bizony csak egy alulnézeti perspektíva, erre te nekiállsz sértődni, akkor, hát ...

Mindig röhögés fog el, amikor ilyen vicces dolgokat olvasok a neten ... 🤣 Az országnak nincs olyan területe Szegedtől Budapestig, Salgótarjántól Sopronig, Pécstől Győrig, ahol az elmúlt 25 évben ne építettem volna rackeket. 🤭

Honnan a faszból szedsz ilyeneket?

trey @ gépház

Valószínűleg akkor csak a szövegértéseddel van probléma. Azon én nem tudok segíteni.

Legalább két tucat ember van itt a HUP-on, akivel/akinek/akinél az elmúlt 25 évben racket, rackeket, szerverszobát, szervertermet építettem személyesen. Ezek közt vannak az egykori 3Com-tól, HP Magyarországtól, a Fujitsu Magyarországtól, vannak az egykori IBM-tól, kollégák, Magyarország legnagyobb autógyára, annak beszállítói, nehézipari vállalatok, T Systems szervertermei, MÁV Informatika Krisztina körúti szerverterme, budapesti és megyei kórházak, egyetemek, külföldi és hazai retail kereskedelmi láncok logisztikai központjai, pénzügyi szolgáltató szektor, győri ipari park vállalatai, elektronikai vállaltok stb. stb. Meg csillió apró, amire a kutya sem emlékszik.

Nem csak szerver rackeket építettem, hanem hálózatost is. Ezen kívül számtalan vendor tanfolyamon vettem részt, ezer vendor vizsgával rendelkezem a témában, az elsőt 2000 körül szereztem. Számtalan blogbejegyzésem van ezekről a HUP-on az elmúlt 20+ évből, hogy én nem tanítottam ezt, hanem csináltam.

Raktam összes szinte az összes gyártó szekrényét, bele való holmikkal, nem bele való holmikkal, factory integrated verziót telepítettem, vagy egészítettem ki. Volt, hogy fos szekrényekkel kellett dolgoznom, volt hogy a legkorszerűbbekkel. Csak a fosnál került elő flex, a gyárinál, ha vele való cuccok soha. Szoptam extra dolgokkal, de volt, hogy minden ment mint a karikacsapás.

A jelenlegi saját szerverszobában van gyári IBM, gyári HP és gyári Fujitsu szekrény. Volt benne gagyi szar is, amit lecseréltem. Volt, hogy salgó polcon, sőt, még billegő faasztalon is láttam szervert.

De, én ehhez sem értek. Fogalmam sincs, hogy mi a különbség egy noname meg egy HP rack közt. Hiszen "nem volt nekem soha, sose láttam". 

🤣

(Itt jegyzem meg azoknak, akik még nem járta colo-ban, hogy ott is van minden fos, a salgó polctól a komoly cuccig, nagyon nem kell hasra esni tőlük. :D)

trey @ gépház

Nekem nem kell bizonygatnod, leszarom (ld. a saját commented:)

BTW én is építettem már rack szekrényt, meg lakóházat is  mégsem allitom, h értek hozzájuk.

 

Neked az szedett-vedett, amit nem értesz, h lehet jól megcsinálni.

Ha neked nem megy megbízhatóan, az nem ciki, csak ne vagizzál azzal, h más munkája is feltétlenül gyenge minőségű. Remélem, megérted a különbséget.

 

Gyk.:

"Innen-onnan összeszedett, más-más fajtájú és többnyire *keveset érő* <holmi, tárgyak>. Szedett-vedett bútorok, könyvek, ruhák. Az ócskás raktárában mindenféle szedett-vedett portéka hever" (Arcanum)

Hát, elég kevés maradt a végére a puskaporodból. :( A kommented megint olyasmikkel van tele, amit nem állítottam (neked nem megy megbízhatóan), nem arról beszéltem, hogy megy-e vagy sem (mindig ment), hanem arról, hogy mennyi vele a járulékos szopás. A szövegértésre gyúrj még rá kicsit.

trey @ gépház

De azt már korábban, mielőtt beleálltál volna, kijavítottam nektek, woke-huszároknak/érzékeny lelkűeknek/pol. korr.-osoknak:

szedett-vedett kellően változatos, érdekesen színes, heterogén, szivárványosan sokszínű, kellően inkluzív, megfelelő diverzitással bíró, kihívásosan* sokoldalú

(* flex kellhet)

Válassz magadnak.

trey @ gépház

A jelenlegi saját szerverszobában van gyári IBM, gyári HP és gyári Fujitsu szekrény. Volt benne gagyi szar is, amit lecseréltem. Volt, hogy salgó polcon, sőt, még billegő faasztalon is láttam szervert.

Vagyis a saját definíciód szerint ez egy szedett-vedett szerverszoba.

Így van és csak a legkisebb gond vele csak az, hogy három féle brand szekrény van benne. Mindenesetre, azzal, hogy a HP szekrényben HP, a Fujitsu szekrényben Fujitsu eszközök vannak és összességében a gagyi szekrények helyett értelmezhető brand-ek, azzal sok szopást lehetett kiküszöbölni.

trey @ gépház

Nem hiszem, hogy ilyet bevallott volna, egyébként meg azért, mert én treyt nem tartom egy rossz szakembernek, és igazából kicsit értetlenül állok mindig előtte, mikor ilyen furcsán fogalmatlankodik. Meg mindig elfelejtem, hogy az utóbbi években erősen elkopott "a ragaszkodom körmöm szakadtáig a sarkos kijelentésemhez" elengedésének képessége nála.

És mit mondtak nálatok, infós mérnököknél arra, ha valaki ilyesmit mondott?

Én annak örülnék, hogy ha a 80-as rack lenne a standard, mert én elhiszem, hogy ez a 60-as ez naonsűrű,

Mármint, hogy mértékegység nélküli számot adott meg? Mert nálunk, műszaki területen ez instant karó volt. Pont azért, mert ha nincs mögötte mértékegység, akkor félreérthető. Vagy, alapból a műszaki irányon megfelelő  mm-ben fogja valaki érteni ... Na, hát akkor erről ennyit.

trey @ gépház

Ó je. Nagyon örülök, hogy sikerült megfognod a lényeget. :) Az úgy látom nem ment át, hogy a fő igény az lenne, hogy lehetőség szerint a szérint szélesebb 800mm-es (ohohoho leírtam!!!!! pezsgőőőő) racket prezentálják a szolgáltatást igénybe vevőnek, amiben már van esély szépen kábelezni, és rendezkedni. Saját racket vinni egy horrorsztori, és nem azért mert egy szimpatikus gyártóét oly nehéz lenne kiválasztani. Egyrészt rögtön négyzetméter árat kapsz (nem mertem olyat írni, hogy terület alapú, ki tudja hány ezer hozzászólás lett volna), ami drágább, mint a rack bérlés, másrészt a hidegmeleg folyósós kialakításnál ezeket nemszeretik, mert nem illeszkedik a standardjukhoz.

Ehhez képest egy halom fölösleges pörgés ment milliméter fronton, amivel a kWh-k füstöltek el fölöslegesen. Node mindenki arra fordítja az idejét, saját és számítógépe energiáját, amire szeretné.

(Csak halkan jegyzem megy, hogy ez egy fórum, senem dolgozat, senem tudományos értekezés, és nem biztos, hogy ide mindíg 120%-nyi idő van kommentelni.)

++

Azt még hozzátenném, hogy a rack összeszerelés az nem mérnöki munka, senem a szerverek és kapcsolódó eszközök beépítése. Mérnöki munka a tervezés, és a kivitelezés felügyelete, bár az nem árt, hogy ha az illető nem csak dumál, hanem esetleg meg is tudja csinálni. Onnantól mondjuk bajok vannak, amikor egy diszkcserénél azt írják vissza, hogy "küldjük a mérnököt", aha. Hiába fogod 50 :DDDD keretében leírni, hogy deaz deaz, nemaz. Ezeket technikusok szerelik a világ boldogabb felén, hogy a tisztelt mérnökúrak magasabb szintű problémák megoldásával termeljék a hozzáadott értéket. Például kiszámolják szép mértékegységekkel, meg lemérjék, hogy hogyan optimális megpakolni a szervertermet, vagy esetleg csak néhány racket az érkező cuccokkal.

Értem. Akárki is szereli össze, a "800 mm" az a mi világunkban nem "80" semmilyen körülmények közt :D

Aztán azt is lehet, hogy technikus rakja össze, de ha a technikus felhívja a mérnök figyelmét arra, hogy a "800 mm" az nem "80", akkor az nem a technikus hibája, mert ő igényesebb a munkájára :D A mérnök úr meg menjen vissza az iskolapadba. Szakrajzot csináltál életedben? Tudod, papírra, méretezve, majd pauszra áthúzva tussal :D 

Ha csináltál volna, értenég ezeket a "kukacoskodásokat" ...

trey @ gépház

Mondtam én, hogy jönnek a LOL jelek. Nagy becsípődés ez neked. Esetleg meghúztak szakrajzból, vagy mi történt? Volt bőven szakrajz igen, ráadásul nem is a főiskolán, ahol már ilyen csipcsup ügyek nem kerültek elő, hanem középiskolában. Szakrajzolnom nekem nem kellett, és nagyon jól elvagyok nélküle.

Kellemes további pörgést és időtemetést kívánok, örülök, hogy tudtam egy kis szint vinni a huppolásodba.

Benne van a válasz, csak nem sikerült megértened. Pontosan úgy, hogy mivel megtanították a gondolkodásra való hajlamot, és tudom, hogy egy rack nagyságrendileg mekkora, ezért remekül meg tudom érteni, hogy ebben az esetben a mértékegység centi, és nem, akinek van világképe nem fogja azt gondolni, hogy egy 60-80 mmes rackról van szó, vagy ha igen, akkor az hülye (lásd még nagyságrendi hiba felismerése).

Ha nem írtam le, akkor nekem is az volt (mondjuk ahhoz nem kell műszaki terület, már hatodikban is megkérdezték fizika órán, hogy mi? zsák krumpli?), viszont arra, aki élő beszédben ezen rugózik, arra azt mondják, hogy vagy egy kukacoskodó kellemetlen fasz, vagy elfogytak az érvei. És majd legközelebb képen röhögöm, ha kér egy hatos alátétet, vagy adok neki egy kisebb fánkot :P

Már úgy érted, hogy szerinted reális veszély az, hogy valaki félreérti, és végül emiatt vesznek egy 60 mm széles racket?

A képmutatás meg az, hogy először még jó lett volna a 600, mer műszaki ember nem mér centiben, aztán meg már ment a picsogás, hogy ki sincs írva. Meg az, hogy ha téged felhív valaki egy projekt kapcsán, hogy te Gyulám, elég lesz a hatvan széles rack, vagy legyen nyolcvanas, akkor pontosan fogod tudni, hogy mit kérdez, fel se fog tűnni.

Ez nem precizitás, hanem precízkedés. Ti. teljesen felesleges.

Attol, hogy nem ugyanaz a logo diszeleg minden komponensen, meg lehet teljesen profi es nem szedett-vedett. Ennyi erovel a rackforest rackjei is szedett-vedettek, pedig valoszinuleg van jopar ora matekozas mogotte, mi hova es hogyan keruljon, de gondolom azzal sem mondok ujat, hogy egy FB google stb termeben sem a HPE only rackek sorakoznak.

Egyszeruen mas szinten mozogsz, nalad megy a katalogusbol osszekattintott vendor altal validalt enterspajz dizajn, ami meg is erkezik osszerelve, ha kered, talan meg jon is melle valaki aki be is dugja, de van ezen tul is elet.
 

jo hat mashol meg a "cipot a cipesztol" elv a fontos. sokan leszarjak hogy szedett-vedett, de ha X gyarto csinalja a legfaszabb szervert, de Y gyarto a legfaszabb networkot, es Z gyarto a legfaszabb storaget, akkor biza be fogja rakni az X-Y-Z termekeit, es csak rohog egyet a "szedett-vedett"-en :)

A vegtelen ciklus is vegeter egyszer, csak kelloen eros hardver kell hozza!

A vendor lock-in nem ezt jelenti. Akkor jelentené, ha brand szekrénybe nem tudnál becsavarozni mást, mert fizikailag úgy lenne kialakítva. Bele lehet, csak éppen lehet, hogy szopni fogsz miatta. Na, nem azért, mert a márkás szekrény szar. Hanem esetleg azért, mert ami nem belevalót akarsz belecsavarozni, az silányabb.

trey @ gépház

De akkor szedett-vedett lesz. Arról volt szó, hogy akkor jó, ha egységes, racktól a gépekig bezárólag. Ez meg egy nagy gépterem esetében azt jelenti, hogy ha az egységességhez ragaszkodunk, akkor már a rackszekrények beszerzésekor eldöntöttük, hogy ugyanattól a gyártótól kerül bele minden (is). Ez pedig vendor lock-in.

kossz, h kiirtad, mire gondolsz pontosan! bar felenk inkabb mm-ben szoktuk hasznalni.

coloc termet hasonlitottam coloccal: az interxion ZUR3-as termeben 30kW-ig mehetnek a rackek.

ettol fuggetlenul ertem amit mondasz, nyilvan, de esetleg erdemes kialakitani surubbre optimalizalt reszeket egy teremben (itt sem minden rack 30kWig terhelheto)

Hát kérem, Interxionék azért más liga, épphogypicit. :) Itthon azt látom, hogy az úgy mond zicceres dolgokra nincs hajlandóság. Ez gyanítom, hogy a megrendelői oldal "elvárásaiból" jön. Aki pedig igényes, az tud ám itthon is építkezni, illetve meglévő colocból van olyan, ahol lehet dedikált helyiséged.

A per rack 2,5-3kW-os itthonri méretezésről meg annyi, hogy egy ügyfelem rackje sorvégi, és olyan 2,8-3kWh -t termelünk ott. A fenékszomszédunk, az advanced melegsoros kivitel okán, valami bődület gépeket vitt oda és hát ott nagyon hőgóc van. Többször jeleztem, semmi, találkoztam már ott bővítéskor fejét vakaró klímással, és hát csak pingvinezés volt. A két rack mellett befelé a soron lévő 1-2 rackben nincs komoly hőforrás.

Jo lenne itthonra is egy interxion(digital realty) vagy equinix. Volt sajnos szerencsem ix-ben olyan cagehez ahol a meleg folyosonal 1 raszter maradt ki (trey-nek 600mm) a ket sor kozott. Probalja mindenki optimalizalni a helyet.

Nem tudom hol van ez a problemas racked, de fel kell lapozni a szerzodest.

Router konfiguraciot mutassatok be Angelo modra.

Szerkesztve: 2022. 11. 26., szo – 00:01

Ilyen promo meg johet tobb is, koszi :) engem kifejezetten a tuzoltasra szant eszkoz erdekelne. lattam ilyen vizparas/ködös rendszert mukodni, eleg epik hatasfoka van. itt milyen rendszer lesz uzemben?