PTE-NIIF SGI szuperszámítógép

Hír

A PTE-NIIF szuperszámítógép közbeszerzési eljárása sikeresen lezárult, a végső átadás várható határideje 2011. január 25.

A berendezés egy SGI UltraViolet 1000 alapú rendszer. Ez NUMA architektúra: a rendszerben lévő modulok olyan speciális kapcsolattal vannak összekötve, amely gondoskodik arról, hogy a teljes rendelkezésre álló memóriát minden egyes processzor egy egységes címtérben ki tudja címezni. A speciális kapcsolat hardveresen biztosítja a cache koherenciát, valamint gondoskodik arról, hogy a memóriaelérés sebessége és látenciája lehetőség szerint független legyen a processzor és a memória elhelyezkedésétől a rendszeren belül.

A felhasználó szempontjából tehát a rendszer egyetlen számítógépnek látszik, amelyben 192 darab Intel X7542 Xeon Processzor, 6 core/2.66Ghz/18M/5.86GT/s, összesen 1152 db processzor mag és 1536 x 4GB DDR3 rendszer memória, vagyis 6144 GB teljes megosztott memória áll rendelkezésre.

[...]

A háttértár három egységből áll, minden egységben 165 Tbyte áll a felhasználók rendelkezésére, tehát összesen 495 Tbyte használható. Az egységek belül redundáns, Raid 6 szervezésűek. A tároló egységek 8Gbit/s sávszélességű kapcsolattal kapcsolódnak a számító egységhez.

[...]

A rendszer 3 darab 24 inch-es vízhűtéses szekrényből és 2 darab 19 inch-es léghűtéses rack szekrényből áll. Előbbiekben a számítási egységek találhatók, tömegük egyenként 1134 kg. A másik két szekrény a tároló és vizualizációs egységeket tartalmazza, tömegük 780 kg ill. 475 kg.
A rendszer maximális villamos fogyasztása 59.9 kW, a valós várt fogyasztás 44-49kW körüli érték.

A rendszer tartalmaz egy Altix XE 500 vizualizációs szervert, amely a következő komponensekből épül fel:

  • 2 socket Intel Xeon Westmere-EP5650, 12 cores / 2.66GHz,
  • 96 GB memória (8GB/core),
  • 2 db 300GB SAS diszk
  • 1db 2 port 8Gbit FC HBA card
  • 1db 1 port 8Gbit FC HBA card
  • 1db 2 port 10Gb ethernet kártya
  • 1 Nvidia Quadro FX 5800 kártya.

A szoftverkörnyezetet elemei

  • Linux SLES 11 OS
  • NVidia grafikus driver
  • Nyílt forráskódú- VirtualGL csomag TurboVNC/TigerVNC szerver és kliens öszetevőkkel.
  • Nyílt forráskódú Paraview SW (ww.paraview.org)
  • Open source software Blender (www.blender.org)

Forrás és további részletek a Pécsi Tudományegyetem honlapján

Nem kell ilyen nagy gép hozzá. :) Egy SUN x4640-en (48 core) próbáltam a minap egy 8.1-es FreeBSD-t bebootolni. A boot loader után dobott egy szép hátast. Megnéztem max 32 CPU-t támogat. Azért nem volt szép tőle. A linux a CPU limit eléréskor egyszerűen skippeli a töbit és megy tovább.

Olvastam erről valamit, de már nem emlékszem, hogy ez a limit picit (mondjuk 32-ről 48-ra) könnyen emelhető-e, vagy mélyebben bele kellene nyúlni.
Érdemes lehet megkeresni ezt a threadet, és ha van értelme, bugreportolni. :)

suckIT szopás minden nap! A javaisten bármikor lealázza a C-s webszervered grizzlyvel, pl.

igen melyen bele kell nyulni a rendszerbe, es ez a 9-CURRENTben jelenleg folyik is.

a problema melye a cpu-mask-ban lakozik, mivel uint_32t-vel van letrehozva az egesz rendszeren, es bitenkent jelolsz egy cpu-t

a yahoonak van egy patche mind 7-STABLE mind 8-STABLE-hoz, ahol ezt a uint_64t-re cserelik le, azonban ez nem az a megoldas, amit a 9-CURRENTben fejlesztenek, ott nem csak workaroundoljak a problemat, hanem az egesz cpumask rendszert ujrairjak
___
info

( zsirmo v | 2010. 11. 19., p – 09:54 )

hasznaljak egeszseggel (vagy meghibasodas nelkul! :P)

( turul16 v | 2010. 11. 19., p – 15:24 )

Megis mekkora a savszel a "legtavolabbi" processor es memoria modul kozott ?
Ill. hany GB az a memoria resz amit egy processzor csoport kozeli (kozvetlen) memrorianak mondhat, es hany CPU osztozik egy ilyen kupacon.

Amit nem lehet megirni assemblyben, azt nem lehet megirni.

Van, de nem maloban kell az ilyesmit ossze googlizni es szamolgatni :)

Szoval akkor ugy nez ki, legfeljebb 1 foglalat az ami kozvetlenul beszelhet 32 GB memoriaval ill. egy gyors ugrasara van a masik 32GB ugyan azon a lapon.
2D touros topology eseten valoszinuleg 4 szomszedos node-dal van kapcsolat, "120Gb/sec (15GB/sec), <1μs" (7.5GB+7.5GB) -s NumaLink5 -el.

Valoszinuleg 8x12 racspont van a tourusban, legroszabb esetben ha jol szamolok 10(6+4) ugras van.
Altalban ket node csak egy optimalis utvonalon szokott beszelgetni terheletlen esetben valoszinuleg a legtavolabbi node -is elerheto 1 link sebbesegevel. Terhelt esetben szamoljunk mondjuk node totalis interconect sebbeseget / node-ok szamat (-1), ami itt most 120Gb*4/(96-1) ~ 5 Gbit (ettol lehet roszabb is).

Amit nem lehet megirni assemblyben, azt nem lehet megirni.

( whitehawk v | 2010. 11. 19., p – 10:35 )

És ez már elég, hogy fusson a neptun is :D

Software is like sex, it's better with a penguin. :D (r)(tm)(c) آكوش

Ebből nem szeretnék hatalmas flame hadjáratot gyártani.

DE!

Alapvetően Magyarországon élünk. Egy nagy lehetőséget kaptunk azzal, hogy ezt a gépet be lehetett szerezni. Nem MIT meg Harvard vagyunk, akiknél a csapból is pénz folyik és a kutatók a zsebpénzükből grideket építenek. Persze jó esetben valakinek annyi kutatási pénze van, hogy megépíti a munkájához való számítógépet, de ez itt csak egy álom, a kutatási pénzeket vagy 8 éve nem emelték itthon, sőt az adók átrendeződése miatt a 8 évvel ezelőtti pénznél jóval kevesebb hozzáférhető a kutatóknak.

Amúgy meg az egész "szuperszámítógép projekt" a pécsi "Science Building" projekt egy része eredetileg. Örülünk, hogy erre futotta és releváns, nagy számításokat tudunk elvégezni úgy, hogy nem kell ezért egy nyugaton található szerverfarmon kemény dollárokat pengetni kifelé. Ismerem közvetlenül a projektben résztvevőket és eléggé odatették magukat, hogy ez megvalósulhasson. (Az átlagos magyar hozzáálást tükrözve magasról le is szarhatták volna az egészet, de tanusítom, hogy egyáltalán NEM ez történt. Komoly tárgyalások folytak, szakértők voltak megkérdezve és a lehető legjobb ajánlatot választották ami az adott keretbe belefért.) Lehet kinevetni őket, meg mutogatni hogy külföldön ez hogy megy, meg hogy ez csak egy kis gép a nem tudom mekkora külföldi szuperszámítógépekhez képest, de most 2010-ben itt erre futotta.

---------------
Értelmezési hiba! Elolvassa újra? I/N

a NIIF projekten volt cluster, es vot numa is.
Vettek clustert es vettek numat is.
Hogy az ilyen, es az olyan szamitasi igenyeket is kiszolgaljak. Ez egy epeszu dolog, nem egyetlen architekturaba fektetni az osszes penzt, meg akkor sem, ha egy cpu-centrikus cluster eseten elokello top500 helyezest ertek volna el. Csak eppen a kutatasok fele nem fut el rajta.

Tudjatok mit? En azert orulok, h meg tudtak csinalni, h a magyarorszagi viszonyokra jellemzo burokracian at tudtak verni. Sot, leginkabb annak, h van olyan project az orszagban ami ki tudja hasznalni. Lehet, h ott a NIIF cluster, az xy egyetem megagepe, de ez akkor is ott az ovek. Plusz amikor legutoljara lattam azt a NIIF clustert eleg, khm, vicces allapotban volt. Lehet azota jobb lett, de az itteni postok es abbol itelve, h ez a project elkeszult nem ezt mutatja.

Eszmeletlen ez a mentalitas. Van nehany ember aki szivbol csinalna a dolgokat, mert ugy gondoljak, h jobban is lehetne csinalni, megprobaljak es erre a vegen jon masfel kilotonna agymenes, h minek. Ha hasznos hamar ki fog derulni, ha meg nem, akkor ki fog halni. De ok legalabb megprobaljak.

---
pontscho / fresh!mindworkz

Az a baj hogy megkérdezi valaki, hogy miért ezt vették, mire fogják használni? Hogy jön ide a mentalitás meg a szívből emberek? Tőlem azt vesznek amit akarnak. Hogyan lehet rá pályázni? kb. az egészet le tudnánk terhelni futásokkal. Ha projekt kell, van. (btw. ennyi pénzzel talán nem próbálkozni kéne flame off)

Mire kell single image, ez volt a kérdés. Nem számonkérés, nem okoskodás, nem "mentalitás", hanem egy szakmai kérdés.
Milyen feladat fog rajta futni, ami egy >1000 CPU magot tartalmazó SSI rendszerben jól tud skálázódni, de egy elosztott rendszeren nem?

suckIT szopás minden nap! A javaisten bármikor lealázza a C-s webszervered grizzlyvel, pl.

( LZ | 2010. 11. 19., p – 14:28 )

Tessék már mondani, ez MITŐL szuperszámítógép ?????

Igen. Ez egy HPC. Ha megnézed a hivatkozott url-t a leírásról, ott ugyanezt írták, csak magyarul:

"A Nemzeti Információs Infrastruktúra Intézet által
a Pécsi Tudományegyetemre 2011 januárjában telepítendő
nagyteljesítményű számítógép fő adatai"

De szerintem elég valószínű, hogy a High Performance Computing-re akartak vele utalni.

IMHO:a magyarban a szuperszámítógép kifejezést inkább a "HPC"-ként emlegetett kategóriára szokás érteni, míg a "nagygép" kifejezést pedig a mainframe-re szoktak érteni. (Már feltéve, hogy erre vonta fel a szemöldökét az eredeti kérdező, hogy "ez mitől szuper?".)

KB, bár ezek alapján egy 8 procis (64 core) és 1-2TB RAM-al ellátott gépet hova sorolsz?

Én jobban szeretem a low-end, entry level, mindrange, high-end besorolást 1 darab szerver esetén.
Klasztereknél és azon belül a "Teljesítmény Klasztereknél" jöhet szóba -nálam- a HPC, Supercomputer(TOP500)

( egeresz | 2010. 11. 19., p – 15:55 )

Az SGI ALTIX UV1000 az ket processzoros elemi node-okbol all, amikbol ketto egy ikernode-ot alkot, es ezek az ikernode-ok vannak memroriahub-okkal alacsony hopp-szamu halozatba fuzve. Fizikailag balde kialakitasu, 2 procis pengek vannak memoria-interkonnektel osszefuzve.

192 darab intel proci
ez 96 blade

Ez az SGI ALTIX UV 100 (az egyel kisebb gep) maximalis kiepitese. Vajon miert a legnagyobb gepbol egy kicsit, es miert nem a kozepso gepbol a legnagyobbat valasztottak?

Mennyi erdekes kerdes :-)

Egyebkent, az UV100/UV1000 gepekben a memoria-interkonnekt hardveres MPI gyorsitast tud, ergo ez piszok gyors MPI ala valo hw is. (1 tick message send)
Termeszetesen numa. A tavoli memoria elofordulhat, hogy 3 hoppot is utazik, ez lenyegesen lassabb, mint a lokalis. Ugyan hasznalhato SMP-nek is, azonban jobban jar a programozo, ha tudomasa van az architekturarol.

Az ALTIX UV 100 es az altix UV 1000 egy pengeje ugyanaz:
- ket cpu, 4 numalink.
A ket cpu is maga numa, 3 QPI tartozik egy cpu-hoz (plusz egy az IO fele). Ez a 3 QPI igy van kapcsolva: 2 koti ossze a ket CPU-t (a szokasos egy helyett) es egy-egy belemegy a numalink chipbe. A numalink chipnek 4 kifele meno numalink kapcsolata van.

Az UV100 ebbol all: ilyen 4-ed foku pontokbol allo graf.

Az UV1000 viszont mashogy van oszerakva:
ket penge egymassal szembe van allitva, es 2 numalink osszekoti oket direktbe. ez az egyseg az ikerpenge. (twisted blade).
Ennek az egysegnek szinten 4 numalink laba van, azonban a rendszerben megjelenik egy 8 labu numalink HUB is. Az ikerpengek 4 laba 4 kulon numalink HUB-ba csatlakozik/csatlakozhat. Az egesz topologia joval bonyolultabb (a 8-ad foku pontok megjelenesetol) mint az UV100, nem is veszem a faradsagot, hogy ilyet rajzolgassak. Mindazonaltal, varhatoan az egyenlo nagysagu UV100 es UV1000 konfiguraciokbol az UV100 alacsonyabb memoria-kesleltetest tud, a numalink HUB kihagyasa miatt. Az egyszerubb topologia, kisebb kapcsolodasi fok miatt meg vagy gyorsabb vagy lassabb ;-)

Disclaimer:
Tavasszal konfiguraltam ilyet utoljara, akkor par het kellett, hogy megertsem a topologia koncepciojat, lehet, hogy azota valamit mar keverek.

Koszi, mintha par evet ataludtam volna (Xeon+NUMA).
Igy hubokkal valoban kijohet a 3 hop (Ha jol ertettem akkor az ikerben szereplo pengenek van 4 laba, vagyis a ketonek egyutt 8), de a HUB -ok komoly szuk keresztmeteszetet jelentenek nemely esetben, ha tenyleg csak hubok es nem switchek.

Amit nem lehet megirni assemblyben, azt nem lehet megirni.

"teljesitmeny"

a szokasos gigaflops szamolas, ahol is az
Rpeak = cpu Ghz * mag darabszam * 4
ott nem tul sok.
2.66Ghz * 1152 core * 4 flo/tick (SSE4) = 12257 gigaflops = 12.3 TFlops.

Egy cluster ezt viszonylag konnyen veri, a mi fel eves, fel rack olcso clusterunk 3.3 TFlops.
Elvileg megtudhato, hogy ez az SGI UV1000 mennyiba fajt az adofizetoknek, a mi clusterunk 25 misi volt.

Nagy SMP-numa gepet olyan teszttel szoktak merni, ami nem fut le clusteren. Teny, hogy hagyomanyosan a nagy HPC kozpontokban szokott lenni SMP-numa gep is, mindig van ra azt igenylo alkalmazas.

Milyen alkalmazas tipus igenyli az ilyen meretu SMP szeru (NUMA) kiepitest?

szerintem ha egy elvi feladat (problema) egyaltalan parhuzamosithato valahogy, akkor fel lehet kesziteni ethernet clusterre is.
Emiatt azt valaszolom, hogy ilyen nagy SMP-re azon feladatoknal van szukseg, ahol a programot igy irtak meg. OpenMP -ben programozni sokkal konnyebb, mint MPI-ben. Nagy savszelesseg/common filesystem igennyel programozni sokkal egyszerubb, mint kis savszelesseggel. Tehat egy smp 1000 magja sokkal konyebben hajthato ki, mint egy cluster 1000 magja.
A kerdes az az, hogy olcsobb-e atirni a programot, vagy olcsobb egy nagy masina.

A valasz az az, hogy a programot potencialisan lehetetlen atirni.

A Ti clustereteket mire hasznaljatok?
Mi szolgaltatunk rajta, teljesitmenyt szolgaltatunk. A felhasznalok azt futtatnak, amit akarnak. Sajnos olyan 50% koruli a gep terhelese, aktiv felhasznalovadaszat folyik eppen. Egyebkent van minden, van aki sajat fejlesztesu programot nyustol mas pedg az R csomaggal szamol 1 szalon. mindenfele van.

( Hunger | 2010. 11. 19., p – 20:07 )

a memóriaelérés sebessége és látenciája lehetőség szerint független legyen a processzor és a memória elhelyezkedésétől a rendszeren belül

hát, ezt vagy nem hiszem el, vagy egységesen "lassú"... ;)

szerk.: ja, értem, "lehetőség szerint"

( gdes | 2010. 11. 20., szo – 10:38 )

Az a kérdés, hogy mire kell a numa meg ez a gép. Egy általános célú klaszter meg ennél jóval nagyobb; és, hogy hogy néz ki egy nemzeti központ ott, ahol gondolkodnak is: http://www.nsc.liu.se/systems

nem tudom, a 6-7 evvel ezelotti magyar "szuperszamitogep" egy szinten osztott memorias azt hiszem sun 15k vagy sun 20k aztan evekig ez volt a "magyar csoda", szerintem akkor is epithettek volna vmi clustert (ha jol emlekszem kaptak ra valami kedvezmenyt a sun-tol)

meg hat van ez cluster grid nevu project is amiben olyan gepek mennek, amiket penzkidobas mar uzemeltetni az energia felhasznalas miatt; jo lenne peldaul, ha lenne fent az oldalukon valami tutorial szeruseg az elindulashoz, hogy egyaltalan valaki hasznalja

valaki tudja, hogy az emlitett sun hardverrel mi lett az idok folyaman?

ahogy neztem a weather map-eket az nsc rendszereket eleg jol kihasznaljak!
--
Dropbox:
https://www.getdropbox.com/referrals/NTI3NzY1ODQ5

A SUN10k cluster az ELTE-n hever kikapcsolva. Az utolso hardver hibanal konkretan en tiltottam meg, hogy barki akar 1 orat is beleoljon a munkaidejebol a felelesztesere. Egy eleg olcso 1u 2 proci mai szerver vigan dalolaszva veri.

A SUN25K cluster az NIIF -ben teljesit aktiv szolgalatot, nem olyan rosz gep az meg. Mondjuk ennek az sgi altix UV1000 -esnek a betapkabeleig se er fel.

Köszi!

Szomorú, hogy ezt a cikket már vagy háromszor nyitottam meg eddig, de ez a morzsa nem jutott el az agyamig. (Legelőször akkor nyitottam meg, amikor az indexes cikkből átkattintottam.) Sajnos nem tagadhatom, hogy időnként igen felületesen olvasok (sokat rontott a helyzeten, hogy az index mintha az ITcafé-s cikket kivonatolta volna, részben, így váltakoztak a már ismert és az új mondatok), ugyanakkor a cikk is ludas: a dátum a legutolsó, nyúlfarknyi bekezdésben szerepel, előtte viszont ott díszeleg ez:

A fejlesztés a HBONE+ nevű, átfogó elektronikus infrastruktúra fejlesztési projekt része, melyet az NIIF Intézet 2009-2012 között valósít meg, az Új Magyarország Fejlesztési Terv által támogatott TIOP 1.3.2. projekt és KMOP 4.2.1/A_2 projekt keretében, európai uniós források bevonásával.

Ezeket természetesen nagyon fontos publikálni, viszont amikor én ilyenbe futok, akkor rögtön ledobom a láncot, és ugrok három paragrafust (vagy a következő alcímig).

En a cikk cimen rohogtem egy jot, egy furcsa zagyvalasnak is tunik, azt sem ertem, miert akarja a 4 gep osszesitett elmeleti max teljesitmenyet osszehasonlitani a top 500 listaval...

azert valami rendes specifikaciokat is kozolhettek volna. jo lett volna, ha irtak volna par szot az emlitett 30 projektrol is.

--
Dropbox:
https://www.getdropbox.com/referrals/NTI3NzY1ODQ5