Linuxot futtat majd a Cray petaflop-os szuperszámítógépe

Hardver

A Cray a múlt héten bejelentette, hogy megbízást kapott az első kereskedelmi, egy petaflop-ot tudó szuperszámítógép megépítésére. A Baker kódnévre hallgató rendszer 24 000 darab AMD Opteron processzort fog tartalmazni és Linuxot fog futtatni.

A szuperszámítógép az Amerikai Energiaügyi Minisztérium megrendelésére készül és az Oak Ridge National Laboratory intézményben kerül felállításra, ahol egy már meglevő Cray rendszerhez fog csatlakozni. Segítségével egyéb más mellett neutron kutatásokat végeznek, biológiai rendszereket, energia előállítási lehetőségeket fognak kutatni. A belső felhasználás mellett elérhető lesz olyan külső cégek és intézmények számára is, mint például a Boeing, DreamWorks vagy a Harvard Egyetem.

Összehasonlításképpen, a jelenlegi leggyorsabb, publikus szektorban működő szuperszámítógép az IBM-es BlueGene/L, amelyben 65 536 darab PowerPC magot használnak, és amely 367 teraflop teljesítményre képes, amely kb. a harmada a Baker tervezett petaflop-os teljesítményének.

Peter Ungaro, a Cray első embere megjegyezte, hogy kétségtelen, hogy ez nagy nap a Cray számára. Mint mondta, Cray szuperszámítógépek voltak az elsők, amelyek 1989-ben elérték a tartós gigaflop-os teljesítményt, és szintén Cray gépek voltak az elsők, amik 1998-ban elérték a tartós teraflop-os teljesítmény-határt.

Bővebben itt.

( Chain-Q v | 2006. 06. 20., k – 20:27 )

Nem ugy volt, hogy Opteronra nem lehet szuperszamitogepet epiteni, mert integralt memoriavezerloje van? :)

Linux Support for NUMA Hardware homepage:
http://lse.sourceforge.net/numa/
első bekezdés:
"Examples of NUMA machines include the NEC Azusa, the IBM x440 and the IBM NUMAQ."

NUMA támogatás természetesen kernelben is kell, pont azért, hogy a NUMA hardware ki legyen használva.... Mivel a NUMA ugye azon az elven alapul hogy a különféle fizikai helyeken levő memóriachipek elérési sebessége is különböző, kell hardware támogatás hozzá hogy meg tudjuk állapítani, fizikailag hogy néz ki a memóriatérkép.

Nem tudom, lehet. Én még úgy tudtam, hogy először csak NUMA hardware-eken volt NUMA-t használó kernel. Mégpedig az IBM NumaQ volt az első, ami 10 éve még Sequent néven futott. Intel processzorokból volt építve és egy méltán elfeledett oprendszert a Dynix/ptx-et futtatott. Dolgoztam ezzel a rendszerrel, ezért van némi fogalmam a NUMA-ról, de nem vagyok expert.

Tudsz, csak nincs sok értelme.

Itt egy rész a NUMA FAQ-ból:
"The NUMA architecture was designed to surpass the scalability limits of the SMP architecture. With SMP, which stands for Symmetric Multi-Processing, all memory access are posted to the same shared memory bus. This works fine for a relatively small number of CPUs, but the problem with the shared bus appears when you have dozens, even hundreds, of CPUs competing for access to the shared memory bus. NUMA alleviates these bottlenecks by limiting the number of CPUs on any one memory bus, and connecting the various nodes by means of a high speed interconnect."

Szóval a lényeg, hogy a NUMA igenis hardware alapú.

Amelyikben arról vitatkoztunk, hogy a T-Online-nak van-e BIX kapcsolata, vagy sem és ecet kollega néha kicsit nagy arccal, de mindenképpen nagy boldogsággal (jókat röhögtek a haverokkal rajtam :) közölte, hogy mennyire nem vagyok képben.

Na valahogy drastikról ő jut eszembe, bár a sima smp-hez is tucc numa-s sw-t hegeszteni azért viszi a pálmát. :)

( bocs | 2006. 06. 20., k – 21:53 )

érdekes, ha ábrázoljuk, tökéletes egyenes jön ki: 10 évente lesz ezerszeres a teljesítmény.
ezzel szemben a tranzisztorok száma 10 év alatt csak százszoros lesz /amint azt a Moore törvénye becsli/.
Ez most azt jelenti, hogy ugyanannyi tranzisztort magasabb frekvenciával és egyéb trükkökkel 10x hatékonyabban ki tudtak hajtani?
a wikipédia azt írja, hogy 5GHz az a frekvenciában már gyakorlati határnak számít, a nagy melegedés miatt.
Akkor ennek a jó világnak vége van?

A fentiek szerint a szuperszámítógépek teljesítménye nő kb. tíz évente a kb. 1000-szeresére.
Moore törvénye szerint a processzorokban lévő tranzisztorok száma nő kb. tíz évente kb. a 100-szorosára.

A kettő között pedig ott van az, h a szuperszámítógépekben felhasznált processzorok száma is növekszik az idő előrehaladtával (erről nincs adatom, h mennyire).

szerk.: azért top500.org-ról ki lehet kaparni valamit: 1995. november és 2005. november. Előbbinél 3680 processzor volt a max, utóbbinál pedig vmi 130k+. Átlagot nem tudom, h honnan lehetne megtudni.

"A fentiek szerint a szuperszámítógépek teljesítménye nő kb. tíz évente a kb. 1000-szeresére."

Tavaly voltam egy előadáson, amit egy TU-Wien-es kutató tartott: mutatott szép grafikonokat arról, hogyan nőtt időben a szuperszámítógépek _elvi_ csúcsteljesítménye és a gyakorlatban kihasznált tényleges teljesítmény.

Elég elszomorító volt a kettő közti szétnyílás. Logaritmikus skálán valóban kb. lineárisan megy fel az elvi csúcsteljesítmény, a kihasznált viszont szépen veszített a meredekségéből és mára az átlag gyakorlati alkalmazások kb. a tizedét használják ki az elvi csúcsteljesítménynek.

A tanulság az volt, hogy egyrészt nem minden feladat práhuzamosítható ilyen méretekben, továbbá a programírás elmélete és gyakorlata nem tudja követni a processzorok számának rohamos bővülését és azt sem, hogy a mai procik belső párhuzamosítása, műveletsorrend- átrendezése igencsak kihatással van a tényleges teljesítményre.

Ők pl. olyan FFT-ket fejlesztenek, melyek a Blue Gene-en gyorsabbak, mint az addigi kódok. Pusztán a műveletek kiértékelési sorrendjének és a proci vektorizálásának kifinomult használatával egy 1,5-2.5-ös szorzót tudtak nyerni.

Szóval, a tanulság, ami ide kapcsolódik: az egy alkalmazás számára ténylegesen elérhető teljesítmény nem dübörög olyan gyorsan felfelé, mint az elvi teljesítmények és a kettő közti rés (egyenlőre) egyre tágabb.

(No persze, ha egy intézetben van egy 10000 procis gép, akkor nem muszáj egy alkalmazásnak használni minden procit, hanem futhat rajta 10 komoly job átlagosan 1000 procit használva, így végül is jobban kihasználható az elvi össz teljesítmény.)

( Polesz v | 2006. 06. 21., sze – 10:10 )

Nem tudom kinek kellene szolni, de szeretnek passzianszozni rajta multiban ;-)

--
A nyúl egy igazi jellem. Ott ül a fűben, de akkor sem szívja!

( alephlg | 2006. 06. 21., sze – 10:47 )

Nem értem, hogy miért van itt mindenki kiakadva a processzorokon.
Nem tudom, hogy ki mennyire ismeri a Cray-t, de ők úgy gondolnak a Linux-ra, mint egyetlen lehetséges alternatívára. Még a saját Cray operációs rendszerüket, az UNICOS-t is sutba dobták. Szemben a többi szuperszámítógép fejlesztővel, akik a Linuxot egyszerű játékszernek tekintik. Kisebb gépeken esetleg elérhető, de amint picit is komolyabbá válik a dolog - 100 processzor felett - már meg sem említik.

Aleph

Látszik, hogy a Cray-nél nem olvasnak fórumokat, így nem tudják még, hogy az Opteron használhatatlan processzor, a Linux meg úgy sz*r ahogy van. :]

Amúgy van valahol publikus lista arról, hogy a jelenlegi szuperszámítógépeken milyen oprendszer fut? A top500.org-on nincs ilyen információ.