ime:
Azten itt egy kep az aktiv racksorrol, hatulrol.
Balrol-jobbra:
HPC2009 HP rack (rittal oem), HPC2005 IBM rack (rittal oem), kozponti storage rittal rackban, mindenfele vegyes cucc (pl caesar fizikai gepek, mail relay, kozponti aai) rittal rackban, es meg egyszer mindenfele vegyes cucc (pl caesar fizikai gepek itt is) rittal rackban.
itt a HPC2009 erosaramu kabelezese:
Itt meg az egyik switch kommunikacios kabelezese, ez nem jo, majd atepitem jobbra, de a alapfoku szoftver tesztekhez jo.
kollegak buvolik az ideiglenes konzolasztalt. Mert ez peecee, es vga/keyboard nelkul nem telepitheto, legalabb egyszer vegig kell menni a gepeken ezzel. Mellesleg ez a legidegesitobb a peecee vilagban: nincs egy ertelmes nagyuzemi telepitesi lehetoseg. Marmint oprendszert lehet, csak vasat nem.
Akkor e kis kepes beszamolo utan egy kis szakma.
Nincsen napi szintu linux uzemeltetesi gyakorlatom, VMS es storage szaki vagyok. Ugy nagy vonalakban eltervezem, hogy mit szeretnek, es utana altalaban azert sikerul elerni. Most peldaul 44 diskless klienst kell felinstallalni, es utana managelni.
Olyat szeretnek, mint ahogy egy diskless VAX gepet lehet hozzailleszteni a meglevo VMS clusterhez: felveszem az ethernet cimet, halozati cimet es nevet egy adatbazisba, es hopp, elkeszul a teljes boot kornyezet, a gep mar bootolhat is halozatrol, az osszes diskless cucc konfigja a leheto legnagyobb mertekig ugyanaz, es ha valtoztaom a konfigot, mindenutt valtozik. (single system image). Oks, csinaljunk ilyet hasonlot linuxon.
egy directoryba
debootstrap
berakok egy mukodo rendszert, menedzselese chroot -tal fog tortenni. Ez a common.
Csinalok 44 masik directoryt, ezekbe lesz a specific tartalom, ami nem egyforma a gepeknel. Pl a /etc/hostname.
unionfs mouttal ezt a kettot osszehozom egy harmadik directoryba. Ezt a harmadikat exportalom ki nfs-sel. Minden node-hoz keszitek a pxelinux.cfg konytvtarban egy sajat konfigot, ami csak a nfsroot= opcioban ter el.
Pontosabban csinalok egy (1) darab client.dat filet, ami tartalmazza a nev-ipcim-MAC harmasokat, es egy csomo scriptet, ami a fentieket legeneraljak, beleertve a /etc/{hosts,exports} meg a dhcp.conf -ot is.
Egy uj gep felvetele redukalhato arra, hogy egy uj sort veszek fel a client.dat -ba. Oks, ezt akartam.
A dolog mukodonek tunik, de meg nem ertem a vegere. Nezzunk ujra kepeket!
Ajjaj, elszurtam a kernel parametereit ;-)
Kijavitva. Itt meg valaki mas szurt el valami mast
Itt hazajottem. Vasakaratu apuka vagyok, munkaido vegevel hazajovok a csaladhoz. Nem koltoztem be egy hetre a gepterembe, sot, meg ebedelni is kimentem ;-) Majd holnap megoldom. Az is celom, hogy ne kelljen a kernelhez, es az initrd-hez hozzanyulni, de ez a puszta ohaj 2 eve meg teljesithetetlen volt, akkor modositott initrd-vel ment csak az nfsroot. (a kernel felismeri az eth0-at, a /sys/class/net/ -ben ott van, de az initramfs-tools/ipconfig nem ismeri fel, innentol kezdve paccs.)
(A kepek olyan helyen vannak, ahonnan 2 het alatt torlodnek.)
- egeresz blogja
- A hozzászóláshoz be kell jelentkezni
- 1326 megtekintés
Hozzászólások
hozzatennem, hogy az egyik cn -ben hibas a piros szin :-)
a vga kimenet nagyon... nelkulozhetetlen a hpc alkalmazasokban, gyorsan kedvencunkke valt ez a masina. A nfsroot teszt is azon ment.
- A hozzászóláshoz be kell jelentkezni
Hajrá
"Jegyezze fel a vádhoz - utasította Metcalf őrnagy a tizedest, aki tudott gyorsírni. - Tiszteletlenül beszélt a feljebbvalójával, amikor nem pofázott közbe."
- A hozzászóláshoz be kell jelentkezni
Szééép!
Csak halkan kérdem, mibe került ez a kis játékszer?
------
Az akarok lenni ami akkor voltam, mikor az akartam lenni ami most vagyok...
- A hozzászóláshoz be kell jelentkezni
majd megkerdem a fonokomet, hogy publikus-e az ara.
egyebkent tobb gyartoval verseny volt, es az a tippem, hogy a HP a marketingkerete terhere negativ nyereseggel volt hajlando adni a cuccot, persze errol pontosat nem fogok tudni soha.
- A hozzászóláshoz be kell jelentkezni
nekem meglepetést okozna, hogy egy közpénzből finanszírozott egyetem közbeszerzése titkos lenne...
a közbeszerzési értesítőben kötelesek vagytok megjelentetni a pályázat eredményét, úgyhogy ha ott megjelent, itt is megjelenhet.
Szerk: amennyiben tévesen feltételeztem, hogy még mindig az eltén dolgozol, illetve, hogy oda került ez a gép, akkor bocsánat.
- A hozzászóláshoz be kell jelentkezni
brutto 24 millio forint, kozbesz dijjal novelve. (netto 18 823e Ft.)
- Ebben van:
-
- 42U rack,
- pdu,
- 2 darab 48 port Gbit switch w/ 10G uplink
- fejgep 72Gi ram, 2x E5520 cpu, dual port 4Gbit FC, dual port 10G eth, 1g alaplapi eth, remote management, raid1 local disk
- 44 darab computing node, 12Gi ram, dial 1Gbit eth, 2x E5520 cpu, remote management
- kabelezes
- 3 ev HW support 'onsite, next business day' jelleggel
- intel math kernel library + intel compiler suite 2 konkurens licencia
- telephelyre szallitas
nincs benne oprendszer, install, sw support
- A hozzászóláshoz be kell jelentkezni
ez nem tűnik egetverő összegnek...
- A hozzászóláshoz be kell jelentkezni
persze hogy nem, ahogy fentebb emlitette is van a 'rendes ar'-'marketing'=24m :)
- A hozzászóláshoz be kell jelentkezni
Amikor én sok gépet vettem anno, akkor a szállító a saját telephelyén kicsomagolt mindent, kapott egy üres táblázatot, amiben megmondtam, hogy milyen adatokat kérek (leltári számok, mac address, stb.), meg megkapták az ukázt, hogy mit hogy kell beállítani, firmware-t frissítsenek, stb.
Úgy hozták ki a gépeket, hogy ez már készen volt, seperc alatt összedobtuk a racket, beleszórtuk a gépeket és kész. utána kézzel feltelepítettem egy darab gépet (a menedzsment gépet, mint nálad a head node), a többi onnan network boottal települt...
vannak dolgok, amiket egyszerűbb a szállítóra tolni:)
arra ne nagyon számíts, hogy úgy megy majd minden, mint a vaxokon, az számítógép volt, ez meg mégiscsak pécé:P a pc biosa rendszerint nem tud olyat, hogy távoli cdrom szerverről lasttal bootolni:)
- A hozzászóláshoz be kell jelentkezni
elmúlt a világ dicsősége.
se DEC, se Compaq, se VMS... csak pécé és linugz. bezzeg régen... :(
- A hozzászóláshoz be kell jelentkezni
-1
természetesen vms van, fejleszti a hp
- A hozzászóláshoz be kell jelentkezni
Én itten a peecees kollegáknál láttam olyan konzol switchet, melyet UTP kábelek kötöttek össze a gépekkel. Ezek nem ethernet hálózatot alkottak, hanem a KVM jel szaladgált rajtuk. És azt mesélték, van hozzá olyan console switch, mely hálózatról is elérhető.
Ezekben a gépekben amúgy nincs iLO?
És miért nem inkább C7000-es blade keretet vettetek ikerpengékkel?
Ave, Saabi.
- A hozzászóláshoz be kell jelentkezni
1) ILO: van. nem kabeleztem meg azt be
nekem olyan ilo tetszene, ahol 2 luk van, es fel lehet oket fuzni sorban egymasra. ilyen meretben tok zavaro a plusz egy 48 portos switch
2) miert nem inkabb blade...: nyitottak voltunk barmire. De ez 44 node. Blade -ben 28 volt...
3) ... ikerpengekkel.. amikor elkezdtuk a beszerzest, nem volt nehalemes ikerpenge. most mar van?
eeess vegul: lehetne konzol switch meg tavoli KVM is, de az nem valtoztat azona tenyen, hogy kell.
- A hozzászóláshoz be kell jelentkezni
ilyen van, az ibm is ilyet árul, csak hirtelen nem jut eszembe, kitől veszik átmatricázva.
talán avocent
egy darab 1U-s maga a "kvm switch", amin van vagy 8 darab utp-nek látszó aljzat, mindegyikre rá lehet kötni nagyon sok (saccra 64) gépet, sorbafűzve. Minden géphez tartozik egy akkora dobozka, mint egy nagyobb autó távirányító, egyik végén van két rj45, amivel láncbafűzheted, másik végén vga+egér+klavi, usb-ben és ps2 verzióban is.
Az egész kaszkádolható, 2048 gépig. Meg lehet rádugni rackelhető monitort, klavit, meg kívülről elérhető 1-n darab párhuzamos ip sessionben. Licenszfüggő darabszámmal.
- A hozzászóláshoz be kell jelentkezni
Érdemes megnézni a kerrighed nevű projektet, az is egy SSI cucc.
CoreDuo L2400, 4G, Ubuntu 9.10, 2.6.31
- A hozzászóláshoz be kell jelentkezni
Khmmm... jobban jarnal debiannal, a debootstrap ismeri a ubuntu-t is barmely rendszeren.
--
()=() Ki oda vagyik,
('Y') hol szall a galamb
C . C elszalasztja a
()_() kincset itt alant.
- A hozzászóláshoz be kell jelentkezni
ize.. lehet hogy vaksi vagyok, de nem latok kulonbseget a debian es az ubuntu kozott
- A hozzászóláshoz be kell jelentkezni
De akkor is van, pl nincsenek kernel szopasok (vagy legalabbis kevesebb, mint ubuntunal). Szamomra a kernel az egyik gyengeje az ubuntunak szerverkornyezetben, rengeteget szivtam mar ezzel is.
--
()=() Ki oda vagyik,
('Y') hol szall a galamb
C . C elszalasztja a
()_() kincset itt alant.
- A hozzászóláshoz be kell jelentkezni
hah ;-)
valamekkora kuzdelemre fel vagyok keszulve lelekben, pl. ami idaig tortent, az "uzemszeru". Ha mar kuzdeni kell, akkor nagy segitseg az ismert rendszer, pl ismerem az apt-t, meg nagyjabol a debian lelkivilagat, es semennyire sem a redhatot vagy a gentoot. Megvan a kedvenc make-kpkg parameterezesem stb. Minden debian stable es minden ubuntu lts paronkent egyforman nagyonkulonbozik egymastol az en nezetemben. A HPC2005 uzemeltetese soran gyakorlatilag minden HPC cucc from scratch tortent, meg a kernel is custom, ez egy ilyen vilag. Engedelmesen hajtom a fejem ;-)
- A hozzászóláshoz be kell jelentkezni
mondjuk arra gondolsz, hogy most peldaul
stuckol a cpu?
[55165.633876] BUG: soft lockup - CPU#6 stuck for 61s! [john:23492]
[55165.641903] Modules linked in: nfsd exportfs nfs lockd nfs_acl auth_rpcgss su
nrpc fbcon tileblit font bitblit softcursor vga16fb vgastate coretemp radeon psm
ouse ttm lp drm_kms_helper serio_raw shpchp parport ipmi_si ipmi_msghandler hpil
o netxen_nic power_meter drm i2c_algo_bit qla2xxx usbhid tg3 hid scsi_transport_
fc scsi_tgt cciss
[55165.686587] CPU 6:
[55165.694907] Modules linked in: nfsd exportfs nfs lockd nfs_acl auth_rpcgss su
nrpc fbcon tileblit font bitblit softcursor vga16fb vgastate coretemp radeon psm
ouse ttm lp drm_kms_helper serio_raw shpchp parport ipmi_si ipmi_msghandler hpil
o netxen_nic power_meter drm i2c_algo_bit qla2xxx usbhid tg3 hid scsi_transport_
fc scsi_tgt cciss
[55165.743007] Pid: 23492, comm: john Tainted: G D 2.6.32-21-server #32-
Ubuntu ProLiant ML350 G6
[55165.761640] RIP: 0010:[<ffffffff8103971e>] [<ffffffff8103971e>] __ticket_spi
n_lock+0xe/0x20
[55165.780444] RSP: 0000:ffff8811f344f958 EFLAGS: 00000297
[55165.789941] RAX: 0000000000009d97 RBX: ffff8811f344f958 RCX: 0000000000000020
[55165.799740] RDX: 0000000000000404 RSI: ffff8808bc1ec920 RDI: ffff8808bc1ecbe8
[55165.809769] RBP: ffffffff81013cae R08: ffff8811f344fc28 R09: 0000000000000000
[55165.820019] R10: 0000000000000404 R11: 0000000000000000 R12: ffff880028255bc0
[55165.830371] R13: ffff88002826fc60 R14: 0000000000000400 R15: 0000000000000000
[55165.840931] FS: 00007f822b138700(0000) GS:ffff880028260000(0000) knlGS:00000
00000000000
[55165.862367] CS: 0010 DS: 0000 ES: 0000 CR0: 000000008005003b
[55165.873446] CR2: 00007f8220da9c60 CR3: 00000008bf924000 CR4: 00000000000006e0
[55165.884817] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
[55165.896352] DR3: 0000000000000000 DR6: 00000000ffff0ff0 DR7: 0000000000000400
[55165.907861] Call Trace:
[55165.919415] [<ffffffff810397a9>] ? default_spin_lock_flags+0x9/0x10
[55165.931032] [<ffffffff8155743e>] ? _spin_lock+0xe/0x20
[55165.942552] [<ffffffff812009f6>] ? ext4_ext_get_blocks+0x66/0x620
- A hozzászóláshoz be kell jelentkezni
Hajjaj, nalunk elszall Xen alatt a reboot. Egyedul Mandriva es CentOS alatt jo, hogy miert? :vallvonogatas:
--
()=() Ki oda vagyik,
('Y') hol szall a galamb
C . C elszalasztja a
()_() kincset itt alant.
- A hozzászóláshoz be kell jelentkezni
http://pareto.uab.es/mcreel/PelicanHPC/ Ezzel talan hamarabb fel tudod allitani oket.
Regen Gentooval mokazgattam hasonlokat, eltartott egy darabig amig minden a megfellelo helyre kerult.
Amit nem lehet megirni assemblyben, azt nem lehet megirni.
- A hozzászóláshoz be kell jelentkezni
Koszi a kepeket meg az infokat. Gr8 ;-)
- A hozzászóláshoz be kell jelentkezni
Ajánlom figyelmedbe - ha már Ubuntu - az LTSP -t. Olvass utána Ubuntu wikiben, hogy kell felhúzni és mit kell csinálni. Tanulmányozd át, neadjisten ez alapján össze is dobhatod a saját cuccost. Pontosan diskless grafikus állomásoknak van tervezve, via c3 800MHz-től a legújabb csodákig elég sokmindent támogat.
- A hozzászóláshoz be kell jelentkezni
ize... felpoccent a cluster, nincs semmi gond. Minden nagyjabol ugy alakult, ahogy elterveztem. Most izmos terhelesteszt van, utana jonnek a HPC middlewarek (mpi, pvm, queue), aztan az illesztes a kozponti AAI-hoz, egy gyors hpc teszt (linpack) es johetnek a userek.
- A hozzászóláshoz be kell jelentkezni