16 darab PlayStation 3 + Linux = szuperszámítógép

Linux

Gaurav Khanna egyike volt azoknak, akik elsőként jutottak hozzá az Egyesült Államokban a Sony PlayStation 3 névre hallgató játékkonzoljához. Az asztrofizikus azonban nem volt oda azért, hogy autógumit égessen a Gran Turismo-ban, vagy éppen kosárra dobáljon a NBA 07-ben. Helyette inkább megépítette a saját szuperszámítógépét.

A kutató jelenleg 16 darab PS3 tulajdonosa. A gépek azzal töltik napjaikat, hogy az univerzumban található óriási fekete lyukak tevékenységeit szimulálják a University of Massachusetts fizika tanszéke számára. Khanna szerint az egy cluster-t képező 16 darab PlayStation 3 konzol olyan számítási teljesítményt nyújt, mint egy 400 node-os szuperszámítógép.

A meglévő szuperszámítógépes létesítményekkel az a probléma, hogy nagy az igény irántuk és ebből adódóan nagyon leterheltek. A kutató szerint ha elküldene feldolgozásra egy kb. egy órás számítást igénybevevő job-ot, csak két nap múlva juthatna az eredményhez, mert olyan hosszú a várakozási sor. Ezzel ellentétben a PS3 cluster csak az övé és a megépítése is "nagyon olcsó" volt.

A cikk itt olvasható.

( selator | 2008. 02. 29., p – 10:46 )

Ha jól tudom, nálunk is használnak/használtak Playstation-öket az egyetemen prímszámkeresésre.

Pont arra nem idealis. Egy ilyen gepnek a lebegopontos teljesitmenye a jo (a videokartya miatt).

Az otlet maga egyaltalan nem uj, meg asszem PS1 vagy PS2 gepeket hasznalt egy spanyol/D-amerikai egyetem szinten clusterben. (a leiras legalabbis spanyolul volt)
Ettol fuggetlenul jopofa.
----
400 MHz CPU, 64MiB RAM, 2GiB Flash, 480x640
honlap készítés

Ha az a "nálunk" az Elte, akkor van ilyen project.

Egész pontosan az ikerprím keresés lett elkezdve, nem tudom most hol áll, a sima prím keresés bizonyos részeit én (nem) csinálom, így az tudom... Sehol. :(

"...handing C++ to the average programmer seems roughly comparable to handing a loaded .45 to a chimpanzee."
-- Ted Ts'o

( apal v | 2008. 02. 29., p – 11:03 )

Jaja, nagyon jol hangzik (a kozeljovoben mi is tervezunk ps-eken szamolgatni). Altalanos relativitaselmeletes dolgokhoz tenyleg kulonosen jo felepitesu, a 4x32bites
regisztereket negyesvektorok tarolasara talaltak ki ;) Emiatt klasszikus soktest-dinamikara is remelhetoleg jo lesz majd...

( asch v | 2008. 02. 29., p – 11:38 )

Érdekesen hangzik. Úgy tudom, hogy a mai PC's videókártyák GPUja még mindenütt 32 bites, azaz csak "float" értékű vektorprocesszorként használható és nehéz a szokásos renderelés lépéseiből "kitörni", azaz csak hasonló dolgot lehet vele csináltatni. Arra persze kiváló és van néhány dolog, amit meg lehet rá írni.

Ez a cell viszont nekem új. Pár dolgot dob rá a google, de nem eleget. Van jó linketek, ahol esetleg arról is van valami hogy hogy lehet programozni, meg miket lehet hatékonyan megcsinálni rajta?

( chrono | 2008. 02. 29., p – 11:48 )

Azért sem tűnik hülyeségnek, mert elvileg a Sony (is) áron alul adja a vasat, hogy a játékokon kaszáljon. Nem tudom, a VGA kiszedhető-e belőle, mennyire integrált a cucc, mert akkor azt el is lehetne adni (ha nem kell). Így nagyon is lehet jó megoldás anyagilag kevésbé eleresztett kutatóknak.

És miután kiszámolták a választ a végső kérdésre, lehet hazavinni és irtani a mutáns szörnyeket:)

( LGee | 2008. 02. 29., p – 11:51 )

> autógumit égessen

az amugy is illegalis

( ezqgtouvszfgc | 2008. 02. 29., p – 15:35 )

Ez az egész PR fogás. Aki valaha is látott rendes farmot a gyakorlatban, az tudja, hogy:
- teljes távoli felügyelet, konfigurálás kell (ipmi stb): ki/be kapcsolás, stb.
- aki egy nagyobb farmba ruház be, az szoftvert akar rajta futtatni. Ez a szoftver általában nem a nulláról íródik, hanem az idő során fejlődik. Ezért platformokon át portolás rendesen felnyomja a teljesen egyedi ps3 alapú rendszer árát (nem is beszélve arról, hogy nem lehet nagy tételben kapni, pont a gilette/hp patron marketing-fogás miatt). A debugolásról a gyakorlatban nem is beszélve.
- a farmnode-ok sok memóriát igényelnek (core-onként 1-2G az "alap") és kell rendes eth is.
- hogy a hűtésről ne is beszéljünk (légáramlat terelés, hő eldisszipálása: hasonlóan az ISP-k-nél)
- valaki már említette, hogy a reklámozott teljesítménye lényegében "csak" térfogatok metszetének meghatározására használható igazából (értsd 3D grafika, amolyan super-povray). PONTOS lebegőpontos (értsd NEM intel) és "általános" algoritmusok futtatására gyakorlatilag alkalmatlan.
- Bizonyos cégek (pl. kereső) a világ PC piacának több mint 10%-át teszik ki: ez baromira lendít a méretgazdaságosságon.
- "A kutató szerint ha elküldene feldolgozásra egy kb. egy órás számítást igénybevevő job-ot, csak két nap múlva juthatna az eredményhez, mert olyan hosszú a várakozási sor." Ez a gyakorlatban annyit jelent, hogy az agyon marketingelt "grid" nem működik. Ezt mindenki tudja, aki próbált már jobot submittelni userként. A fejlesztők is tudják ...de soha senki sem merte még nyilvánosan kimondani, hogy a császár meztelen. Cégek/kutatóhelyek a saját farmjukat építik, ami felett teljesen rendelkezhetnek (rendelkezésre állás, sw konfiguráció stb.)

lószart. Csak életem egyik legnagyobb csalódása volt, amikor szembesültem azzal, hogy "szándékosan" pontatlanul számolja a trigonometriát.
Egyébként csak azért ugattam, mert szerintem is nagymájerság egy játék-polcot szuperszámítógépnek hívni, mégha egy skálázhatatlan fürtről is van szó.

Minap leveleztem Intelekkel ezugyben (sin, sinh, cos, cosh, sqrt pontossaga). Az imf garantalja, hogy az eredmenyed 0.55 ulp-en belul pontos.

Mondjuk tenyleg dilettantizmusra vall az x darab PlayStation-t szuperszamitogepnek hivni. A srac almat hasonlitott kortehez, amikor egy fullra leterhelt szuperszamitogepet hasonlitott a csak sajat hasznalatra osszeheftelt PS3-clusterhez.

Annyibol viszont erdekes ez a hir, hogy mar a legfelso szegmensben is vegremehet, hogy commodity cuccok nyomakodnak be egy olyan szegmensbe, ahol korabban specialis hardverek uralkodtak.

Lehet, hogy reklámfogás, de azért hihető is valahol.

> valaki már említette, hogy a reklámozott teljesítménye lényegében "csak" térfogatok metszetének meghatározására használható igazából

Ok, de ő épp olyasmire használja, amire használható. A szimulációk jelentős része remekül párhuzamosítható és pipelineosítható

> aki egy nagyobb farmba ruház be, az szoftvert akar rajta futtatni. Ez a szoftver általában nem a nulláról íródik, hanem az idő során fejlődik. Ezért platformokon át portolás rendesen felnyomja a teljesen egyedi ps3 alapú rendszer árát

Tegyük fel, hogy eddig is valami elosztott rendszeren dolgozott. Ha igen, akkor a programjai eleve elosztottak voltak, nem nagy ügy a Cell architektúrára átírni. Ráadásul lehet, hogy amúgy is folyton átírogatja a programot, vagy a program elenyésző munkamennyiséget képvisel a tesztadatok létrehozásához és kiértékeléséhez képest.

> A debugolásról a gyakorlatban nem is beszélve.
Amiket találtam ott azt írják, hogy a Linux frankón támogatja ezt a rendszert, GDB is működik rajta.

> teljes távoli felügyelet, konfigurálás kell (ipmi stb): ki/be kapcsolás, stb.
Az ürge a tanszék pénzéből meg tudta venni a cuccost és a saját szervertermében van az egész. Miért kellene távoli felügyelet neki?

Amúgy egy tök jó elemzést találtam a Cell-ről, bár már kicsit régi, még a megjelenése előtt írták. Amit ott találtam az alapján hihető, hogy használható kutatólaborokban a ps3:
http://www.blachford.info/computer/Cell/Cell0_v2.html

Tegyük fel, hogy eddig is valami elosztott rendszeren dolgozott. Ha igen, akkor a programjai eleve elosztottak voltak, nem nagy ügy a Cell architektúrára átírni

Erre ne vegyel merget. Eleg otvar melo Cell-t megetetni.

Amiket találtam ott azt írják, hogy a Linux frankón támogatja ezt a rendszert, GDB is működik rajta.

Igen, a kozponti PowerPC processzort. Az SPE-nek eleg jo limitjei vannak. Pl. 256k ramja van, es ezen kivul nem is er el mast. A PS3-ba is azert kellett egy PPC mag, hogy ezeket az allatokat etesse es a vegeredmenyt kitolja a videokartyara/hangkartyara, kezelje az inputot, stb. Nem altalanos celu processzor.

---
pontscho / fresh!mindworkz

Ok, pont ilyet nem csináltam még azt elismerem. De GPU-ra shadert írtam már és igaz, hogy a fejlesztés ciklusa a debugger hiánya miatt kicsit nehézkes, de azért például egy szimulátorral már nem különbözne igazán egy bármilyen más platformra programozástól.

Egy alkalmazásnál - pláne tök egyedi dolognál - általában nem a kódolás a munka nagy része, amit másképp úgy is fogalmazhatunk, hogy kb mindegy mire kódolunk...

Ok, pont ilyet nem csináltam még azt elismerem. De GPU-ra shadert írtam már és igaz, hogy a fejlesztés ciklusa a debugger hiánya miatt kicsit nehézkes, de azért például egy szimulátorral már nem különbözne igazán egy bármilyen más platformra programozástól

nVidia FX Composer 2?

Egy alkalmazásnál - pláne tök egyedi dolognál - általában nem a kódolás a munka nagy része, amit másképp úgy is fogalmazhatunk, hogy kb mindegy mire kódolunk...

Igaz, de verebre sem a Bismarck 15 colos agyuival mennek.

---
pontscho / fresh!mindworkz

Erre ne vegyel merget. Eleg otvar melo Cell-t megetetni.

Vagy nem. Nem sokan irnak am agyonoptimalizalt kodot tudomanyos szimulaciokra. Sima ANSI C, szepen leforditja, es elinditja, ennyi.
Latatlanban erre tippelnek. Emlekszem egy fizikus kollegara akinek semmi szamitogepes kapacitas nem volt eleg, nezegettuk vajon mit futtat, hat egy kb. 100 soros C program gyurte a szamokat sokaig, aztan a vegen kikopott egyet.

Azért ha az ürge magától kitalálta, hogy ps3-akat fog használni, és az ötletét meg is tudta valósítani akkor arra is mérget mernék venni, hogy már előtte is foglalkozott a programja optimalizálásával :-).

Amúgy egyetértek, az hogy nagy számítási kapacitásra van szükség nem jelenti azt hogy bonyolult a kód.

"Miért kellene távoli felügyelet neki?"
mert kézzel ki/bekapcsolni pár ezer gépet több jómunkást igényelne, akiknek a nyugdíjjáruléka kitenné az €-beli árkülönbséget.

"nem nagy ügy a Cell architektúrára átírni"
ezt még látatlanban is vitatnám. Abban igazad van, hogy a legtöbb ilyen kód "legacy", és alapból "ismeri" az indián meg vms és egyéb élő meg kihalt bitreprezentációkat...

"a program elenyésző munkamennyiséget képvisel a tesztadatok létrehozásához és kiértékeléséhez képest."
Igazából ezt egy picit tovább vinném: az szgép "elenyésző" részét képezi egy-egy ilyen projekt költségvetésében. Nekem az a benyomásom, hogy a "fura" architektúra által képzett overhead meghaladja egy PC tender győztes árajánlatát (és ebbe vedd még bele a rack-be való telepítését a hw-nek, ami raklap mennyiségnél nem pikk-pakk: akkora rack-kihasználtságot amit látsz a képen nem igazán lehet megengedni sok helyen).
Ha a ps3 bekerülési árát összeveted egy tömegtermelt PC-vel, szvsz ~ azonosak lehetnek: csodák nincsenek egy adott technológiai szinten/generációban. És próbálj meg 4 év múlva kicserélni egy hibás node-ot. x86 esetében valsz könnyeb lenne.

>mert kézzel ki/bekapcsolni pár ezer gépet több jómunkást igényelne, akiknek a nyugdíjjáruléka kitenné az €-beli árkülönbséget.

16 darabról ír a cikk, nem párezerről.

>>"nem nagy ügy a Cell architektúrára átírni"
>ezt még látatlanban is vitatnám. Abban igazad van, hogy a legtöbb ilyen kód "legacy", és alapból "ismeri" az indián meg vms és egyéb élő meg kihalt bitreprezentációkat...

Az ürge nyilván eddig is Fortranban programozott és életében nem ez a második hardverplatform, amire dolgozik. Plusz benne van az újdonság varázsa egy kutatónál mindenképp, amiért önmagában megéri plusz egy hónap munka. Ez nem egy hatalmas cég, hanem 1 max pár fős kutatócsoport.

> Ha a ps3 bekerülési árát összeveted egy tömegtermelt PC-vel, szvsz ~ azonosak lehetnek:

Ok, nem olcsóbb, mint ugyanennyi PC. Azonban mivel vektorprocesszorról van szó az ő feladatára az ő kihegyezett alkalmazásával egyszerűen sokkal jobban teljesít. Mondjuk 10-szeresen simán elképzelhető. Pont ez a lényeg.

Szerintem kicsit el vagy tevedve. Ez pont arrol szol hogy a ficko sajat maganak vette oket, nem akar farmot epiteni, csak a sajat programjait futtatni.

Nem kell tavoli felugyelet, ha egy elromlik majd elviszi a szervizbe, programot meg ujrainditja masikon.

Memoria. Hat vannak amik sok memoriat igenyelnek, masok nem. Sok esetben nem kell sok memoria. Ugyanez igaz eth-ra is.
Pontos lebegopontos szamitasok sem mindig fontosak.

Ami meg a gridet illeti, ez a szo nem is szepelt a cikkben. Szerintem pont az MIT lokalis farmjaban kell 2 napot varni. Egyebkent sokszor nalunk is ez a helyzet a lokalis farmmal.

( komate | 2008. 03. 01., szo – 09:39 )

El tudom képzelni, hogy ez csak marketing fogás a Sony-tól.
Ha tudom, hogy szuperszámtógépet csinálnak a ps3-ból, ráadásul 16 darabból, akkor tuti, hogy jó gép, és kell nekem is.
Persze... elmondhatom majd magamról, hogy szuperszámítógépen játszom a Tony Hawk-ot... :)

--
dont_worry_be_happy