HPC2009 szallitas - kepek, es reszletes(ebb) iras

Miutan ittvan, mar le merem irni: ez egy HP cucc.

Egesz pontosan a kovetkezo alkatreszekbol alla cluster:\

Head Node: HP ProLiant ML350 R6 (72 GiByte RAM)
Computing Nodes: HP ProLiant z6000 G6 2U chassis, HP ProLiant SL2x170zG6 node
Switches: HP ProCurve 2910al-48G
Rack: 42U HP Universal Rack 10642 G2 Shock Rack (rittal oem)

1 headnode, 44 computing node, 2 switch. Mindosszesen 90 darab intel xeon E5520 es 600 GiByte ram.

Megjegyeznem, hogy a HP 6 hetet vallalt a szallitasra, de 19 het alatt szallitotta! ez a negyed ev keses mellesleg megakadalyozta, hogy az informatikus hallgatok hasznalhato kornyezetben gyakoroljanak ebben a felevben (mire beuzemeljuk, itt a vizsgaidoszak).


1) Meghoztak teherrel, a rack egyben, plusz neheny doboz.


2) a rackbe 44 computing node volt gyarilag beszerelve, ez lathato. Egyebkent itt csusztatjak le a raklaprol.


3) 533 Kg. szallitasi suly, a csomagoloanyaggal egyutt.


4) hatasvadasz kep, nem?


5) a gepterem ajtajan nem fer be, a szallito szakembere szetszedi a folyoson


6) az ures racket megdontik, beviszik (Te mit csinalsz? kerdezi az egyik horukkember a masiktol. En megprobalok nem beszarni, jon a valasz.)


6) egy szamolo node, 2 szerver van egy talcan


7) 2x 4 doboz a foldon atmeneti helyen (1 doboz 4 szerver)



8)talca vissza a dobozba


9) szallito szakembere orul, hogy a power on sikerrel ment



10) a teljes gepterem fogyasztasa a gep bekapcsolasa utan. A gep itt iddle-ben ment. Iddle-ben a fogyasztasa cca 3.2 kW, teljes terhelesnel 12 kW (becsles. majd lesz meres is).


11) Az ML350 R6 kinyitva, felulrol.

Azota bekabeleztem az egyik switchet, de nem szepen. Elso korben a 44 node-os memtest fog futni, talan holnap este erek el odaig.

( secretx v | 2010. 04. 19., h – 18:45 )

Vas überbrutál, gondolom nem kicsit vártátok, engem nem látna a család pár napig/hétig az biztos ha ilyen jönne melóhelyemre :]

Technikai kérdés: A clusterben Turque-t és Maui-t használtok resource manager+scheduler-nek? (Ha jól emlékszem Debian-os cluster van mostis, meg ebből is azt szeretnétek.)

nem titok, de nem tudom. Van egy kollegam, aki jelenleg Angliaban ragadt a legterzar miatt, a speci HPC szoftverekert o felel, belelertve a resource managementet, es a Q rendszert, meg akar valami L3 mpi dolgot (ip layer kihagyasaval, kozvetlen etherneten) stb.
Sokat akarunk a Q rendszertol:
- ha valaki ugy submital, hogy 4 magot ker, akkor hiba forkol, ne kapjon 4 magnal tobbet
- legyen lehetoseg 1mag/cpu feledatvegzesre, mikozben a tobbi mag nem kap feladatot (pl 20 szalon fut a programja, de 80 magot allokal) memoriasavszelessegi es egyeb limitaciok kikerulesere

most fejbol nem megy, de felirtunk meg 10 hasolno agyament dolgot. Pl legyen egy Q a fejgephez kulon, mert a fejgep meg van tomve memoriaval, 1-2 ilyen job had fusson mar ott is le.

a HPC2005 -on debijani van, igen, ezen mondjuk ubi lesz, ha sikerul. Ha nem, marad a gyartoi tamogatas, RHEL. A HPC2005 -ben sun grid engine van.
Mindegy, most mindja indulok be, es eloszor elolvasom, hogy az ML350 R6 -ba tenyleg 3 venti kell-e ilyen kiepitesben (4 venti hely van benne, az egyikben takarolemez)

( uid_18079 | 2010. 04. 19., h – 20:23 )

Jó kis cucc, remélem megérte megvenni, és ki tudja használni a suli. Nem megy a sarokba egy év múlva, mert sokat fogyaszt.

( egeresz | 2010. 04. 20., k – 16:58 )

kis ubuntu power
letoltom a 10.04 beta server 64 bit
usb-creator (nincs ennek karakteres verzioja?)
betolom a fejgepbe
feljon, telepitem /dev/cciss/elsodiszkhogyhivjak (HP p400i raid kontroller)
es a telepites vegen a grubot felnyomja a /dev/sda -ra
(pendrive)
tudom, kellett nekem next-next-finish modon installalni?

ez most installer hiba? lejelentsem? hova?

ha az ubuntu 10.4 beta 2 server amd64 install-cd -t usb-creatorral feltolom egy 1 Gbyte-os pendrive-re (dd if=/dev/zero of=/dev/pendrive, es utana az usb-creator particionalja es formazza)
es errol akarom bebootolni a HP ML ML350 R6 (2x xeon E5520, 18x 4Gbyte ddr3, p400i sas raid controller without cache, 2x 250 Gbyte SATA disk w/ hw raid1) akkor bebootol, installalni lehet,
de a 'rescue mode' panaszkodik, hogy nem talalja meg a cdrom-ot (vagysi a pendrivet) ugyanott ugyanarrol a pendrivereol az installer megtalalja.

Nem hiszem, hogy kulonosebben fontos, azt'se tudom, hogy egyaltalan tamogatott-e a szerver install pendrive kiszerelesben, de nekem ezen elment 10 percem. A pendrive meg grubositasa jobban bosszantott ;)

( egeresz | 2010. 04. 20., k – 20:36 )

Ma atszereltem az erosaramu kabelezest olyanra, ami nekem tetszik.
Feljebb raktuk 2U -val a switcheket, es a fejgepet, hogy helyet hagyjunk a bovithetosegnek.

Megcsinaltuk a kabelezeshez a kabelvezetoket. Az egyik switchet bekabeleztem (45 kabel) Iszonyu sok ez a 45 kabel, nemelyik 3-szor mert a feles hosszt oda-vissza tekeressel veszuk fel. Nagyon vastag a koteg. Olyan vastag, hogy nem lehet kihuzni a szervertalcakat. Pedig a szep kabalezes lenyege pont a szerelhetoseg. Ezen meg gondolkoznom kell, ha mar a HP mernokei nem tettek meg :-)

Nap vegen probaltam installalni egy ubuntut, minor dolgok akadalyoztak, lasd fenn. A terv: holnap-holnaputanra elerni, pxeboot alapjan minden szamolonode-on egyszerre futtatni a memtesztet. Es ezt otthagyni hetvegen.
Ha klimatechnikai gond van, deruljon ki.

Itt a "HP mernokei nem tettek meg" -re gondolsz?

Az HP ProLiant z6000 G6 2U chassis elhelyezese es kialakitasa olyan, hogy ugyan terveztek mellette helyet a kabelezesnek, de keveset. Mondjuk olyan 28 node eseten meg elegendo a hely. Eegyebkent a z6000-eseket a HP gyarban, a HP altal javasolt rackbe, a HP emberei szereltek be. Pl ha a erdekes, HP egyedi oblos raszterlec oblosebb lenne, de jo is volna.

Ilyenkor szokták azt csinálni, hogy középre teszik a switcheket...

Vagy úgy kábelezd, hogy van alul 6-8 node, node-nak szolgáló hely, utána a két switch, majd megint 6-8 node/node hely, vagy úgy kábelezd, hogy az egyik switchet lerakod legalulra, a másikat legfelülre és akkor oszlik a kábelmennyiség.