A Linux uralja a TOP500-at

Linux

Nagyon régen néztünk már rá a világ leggyorsabb szuperszámítógépeinek listájára, a TOP500-ra. A Linux mindig is uralta ezt a szegmenst, de azért korábban csak volt mellette egy-egy más operációs rendszer is. 2013-ban még ez volt a helyzet:

"Az ötszázból mindössze kettőn fut Windows, tizenegyen AIX, négyen egy vegyes, CNK/SLES 9 rendszer és egy rendszert - SUPER-UX - jelöl BSD-alapúnak a TOP500 webes összesítője."

Ma pedig ez:

Linux uralja a TOP500-at

A tortadiagram ne tévesszen meg senkit. A két darab AIX kivételével az összes többi rendszer mind Linux-alapú...

Linux uralja a TOP500-at

Az aktuális lista megtekinthető itt.

( trey | 2016. 11. 16., sze – 13:17 )

Van egy fogadásom arra, hogy az a két AIX sem sokáig lesz ott.

--
trey @ gépház

( CzLaci | 2016. 11. 16., sze – 14:42 )

20 év múlva itt a Desktop Linux Éve, akkor ezek már csak desktopnak lesznek jók, így linux fog rajtuk futni. Hurrá.

Ui: a smiley direkt lemarad.

--
Lenovo Z580, LMDE 2 & Xfce

( gemnon v | 2016. 11. 16., sze – 14:55 )

A WS2016 per core licensing baromi vonzó lehet azoknál a vasaknál. :D

Ilyen célra - ahol 0 a jelenléte - szerintem a Microsoft ingyen is adna op. rendszert. Az más kérdés, hogy vannak olyan dolgok, amik bizonyos célra ingyen sem kellenek az embernek. Mert azért akadémiai körökben nem ritka, hogy átvesznek egymástól dolgokat. Most látjuk, hogy a Linux gyakorlatilag 100%-ban uralja a TOP500-at. Ki szeretne fehér holló lenni? Mit kezdesz Windows alatt azokkal a toolokkal, amiket mondjuk valaki egyszer megírt már Linuxra? Értelmetlen kilógni a sorból.

--
trey @ gépház

Szerintem #1: nem az árcédula függvénye, valószínűleg a gép sem volt olcsó.

Szerintem #2: a Microsoft fejlesztési stratégiája inkább a horizontális skálázhatóság, mint a vertikális. Ha csak az Azure-t nézem mondjuk, ott sem azt javasoljuk, hogy 1 db bivalyerős node legyen, hanem inkább több kisebb.

Szerintem #3: off-the-shelf megoldást várni ilyen feladatra hülyeség :)

Microsoft sales válasza:

A Microsoft Windows nem kikopott innen, hanem stratégiaváltás miatt kivonult. ;)

"Szerintem #3: off-the-shelf megoldást várni ilyen feladatra hülyeség :)"

Hát, hanem is off-the-shelf, de azért mégsem kell magadra maradni:

https://www.linuxfoundation.org/news-media/announcements/2015/11/high-p…

--
trey @ gépház

> A Microsoft Windows nem kikopott innen, hanem stratégiaváltás miatt kivonult. ;)

Egy zárt piacról beszélünk, ahol a Microsoft az elmúlt X évben benne sem volt, nem volt honnan kikopnia. Három éve kettő, azaz 2 darab windows-os gép az ötszázból, most pedig nulla. Semmi lényeges változást nem látok.

> Hát, hanem is off-the-shelf, de azért mégsem kell magadra maradni:

Semmi ellentmondás nincs ebben ahhoz képest, amit én mondtam. Az off-the-shelf ellentéte nem az, hogy valamin csak 1 db szervezet dolgozhat egyszerre. :)

Kíváncsi lennék, hogy ha az 500 gépről csinálnánk 1-1 image-et, abból hány indulna el a laptopomon. Valószínűleg kevés. Ha tippelnem kéne, ezek nagyon messze vannak egy bolti RHEL-től, még ha az is az alapja.

"Kíváncsi lennék, hogy ha az 500 gépről csinálnánk 1-1 image-et, abból hány indulna el a laptopomon. Valószínűleg kevés. Ha tippelnem kéne, ezek nagyon messze vannak egy bolti RHEL-től, még ha az is az alapja."

Ez nem tudom hogyan jön ide. Én nem erről beszéltem.

--
trey @ gépház

> Kíváncsi lennék, hogy ha az 500 gépről csinálnánk 1-1 image-et, abból hány indulna el a laptopomon.
> Valószínűleg kevés. Ha tippelnem kéne, ezek nagyon messze vannak egy bolti RHEL-től, még ha az is az alapja.

A szupergépek legnagyobb része cluster. Itt egy-egy vas legfeljebb az interconnect tekintetében speciális, az image-ek akár bolti RHEL-ek is lehetnek.

A single system image gépek kicsit izgalmasabbak. Például innen tudom, hogy többezer core-nál bizonyos OS alapfunkciók (mint pl. az oom-killer, vagy akár csak egy ps) iszonyú lassúak tudnak lenni. Itt bőven van/lenne helye az optimalizálásnak, de nem tudom, hogy pl. a kernel le tudja-e már kezelni azt, ha elromlik alatta egy processzor. Amikor utoljára néztem, nem tudta. Emiatt alakult ki bennem az a - minden bizonnyal téves - képzet, hogy az SSI szupergépek: 1) esnek-kelnek; 2) lassúak, mint a dög. Persze, ha sokezer egymással kommunikáló szálat, vagy többterabájtos memóriastruktúrákon dolgozó alkalmazást kell futtatni, akkor tök jók.

Jut eszembe! NIIF HPC is hiring. :)

"Jo az az interpretalt P* nyelv, mert ugy is az I/O lesz a lassu", "kit erdekel a milyen bloat a data mapping code, ugy is a diskre kell varni". Azt mondod ujra lehet fejlosztoket hibaztatni , vagy hogy vegyunk tobb CPU -t, hogy ujra az I/O -ra keljen varni ;-)

Amit nem lehet megirni assemblyben, azt nem lehet megirni.

"1) esnek-kelnek; 2) lassúak, mint a dög."

"1" csoport orul ha sikerul osszehozni egy tobb szalas alkalmast,
nincs kedve / nam akkar, mindenfele cluster libraryval fogalalkozni,
es/vagy specialis eszkozoket kezelgetni.

BTW,
Manapsag egytelen gepben lehet 8 x http://ark.intel.com/products/93790 ,
Ha szalaknak, tenyleg sokat kell kummunikalniuk egymassal akkor az mar egy gepen belul is a fo preblema lesz.

Ha olyan problemad van amire szimplan a tobb szallusag tenylegesen a legjobb megoldas, az egyetlen gep a legjobb hardwered, ha nem, akkor az SSI csak van vagy utban van.

(Egy kicsit lehet feljebb lepni, nagyon eros inter-connectel ~ tucat gephez , de nem eri meg, kozel sem lesz annyiszor gyorsabb, mint ahányszor anyiba kerul)

Amit nem lehet megirni assemblyben, azt nem lehet megirni.

Szerintem #2: a Microsoft fejlesztési stratégiája inkább a horizontális skálázhatóság, mint a vertikális. Ha csak az Azure-t nézem mondjuk, ott sem azt javasoljuk, hogy 1 db bivalyerős node legyen, hanem inkább több kisebb.

Szerinted a TOP500-as listában, hány van olyan, ami egy bivalyerős node-ból áll?

Akár nulla is lehet, az Azure csak egy példa volt. A lényeg, hogy top 500-as szuperszámítógépre nincs off-the-shelf megoldásunk. Biztosan lehetne csinálni, de nem biztos, hogy megéri. :)

Továbbra sem gondolom, hogy probléma lenne a Microsoft alulreprezentáltsága (2, illetve 0 rendszer az 500-ból) ebben a mezőnyben.

A megfogalmazásodból úgy lehetett érteni, hogy az az egyik ok, hogy nincs a TOP 500-ban, mert oda vertikálisan kell skálázni, az MS pedig inkább a horizontálisra gyúr rá.
Holott ennek pont az ellenkezője igaz, ugyanis a TOP500-ban főként a horizontális skálázhatóság a lényeg.
(Ha egyébként nem így értetted, akkor nem tudom hogyan)

A lényeg, hogy top 500-as szuperszámítógépre nincs off-the-shelf megoldásunk.
Továbbra sem gondolom, hogy probléma lenne a Microsoft alulreprezentáltsága (2, illetve 0 rendszer az 500-ból) ebben a mezőnyben.

Én sem gondolom, hogy ez probléma ;), de azért kicsit szégyen, hogy még az Ubuntu is ott van. Ezek szerint nekik futja off-the-shelf megoldásra ;)

Ha jól értem, a Microsoft az Azure-t vértezte fel HPC képességekkel és teszi ezeket elérhetővé használatarányos fizetéssel és választhatóan akár Linux node-okkal:
- https://azure.microsoft.com/en-us/solutions/big-compute/
- https://simulation.azure.com/

Üdv,
Marci
A Microsoftnál dolgozom.

De most ezt úgy mondod, mintha nem is lett volna. A Windows HPC Server 2008 egy ilyen termék volt, csak a kutyának sem kellett.

https://en.wikipedia.org/wiki/Windows_HPC_Server_2008

Értsd: "kivonult" a Microsoft

https://www.sgi.com/company_info/newsroom/press_releases/2010/september…

--
trey @ gépház

( Botond | 2016. 11. 16., sze – 15:31 )

Az az érdekes, hogy a Top500-ban több a CentOS, mint a RedHat és a SuSe együttvéve. Létezne CentOS-re is fizetős support?

( uid_16313 | 2016. 11. 16., sze – 16:22 )

Kicsit zagyva, hogy van egy nagy Linux, meg azon kívül is egy csomó Linux. Ennek így nem sok értelmét látom.

--
robyboy

Hát igen. Ha jobban belegondolok, akkor a legnagyobb százaléknak "Linux alapú home-made gányolás" lehetne a neve.

A grafikonban a Linux szó értelme maximum a Linux-kernelre vonatkoztatható, az viszont ugyanúgy jelen van a többi disztróban is. Értelmezhetetlen az egész.

--
robyboy

En ugy ertelmezem, hogy vannak tiszta, valtozatlan distrok, pld CentOS, es a tobbseg valami egyedi, ujraforditott megoldas, aminek valamilyen ismert distro lehetett az alapja, de mar nem kompatibilis vele.

Egy ismeros is csinalt egy egyedi Linuxot, Slackware volt az alap, mar semmivel sem kompatibilis, mindent forditani kell ra... :)

Sakk-matt,
KaTT :)

( mj0019 v | 2016. 11. 17., cs – 09:35 )

Azt meg tudja valaki mondani, hogy miért nem látni ebben a listában BSD-ket?