Új otthont keres egy Sun E10K

Sun Microsystems

Mindig is szerettél volna egy nagy vasat? Mondjuk egy Sun E10000-t? Most hozzájuthatsz álmaid rendszeréhez ingyen! Csak szervezd meg valahogy a szállítást. Utána pedig bírd kifizetni a villanyszámlát :) A Red Hat alkalmazásában álló Tom "spot" Callaway ingyen odaajándékozná gépét, ha tudja, hogy az jó helyre kerül. Tom a The Rescue List-re postázott levelében kér segítséget a monstrum megmentésére. A gép jellemzői?

Egy teljes kiépítésű Sun E10K, amely 64 CPU-t (400 MHz UltraSPARC-II) és 64 GB memóriát tartalmaz. Lemezekkel nincs jól eleresztve, de azok pótolhatók.

Hogy miért válik meg tőle Tom? Ennek több oka van. Egyrészt rendkívül költséges az üzemeltetése. Nemcsak zabálja az áramot (felvett teljesítmény: 13 456 W), de a megfelelő hűtése is egy kisebb vagyonba kerülhet. A másik ok, hogy rendkívül nehezen mozdítható. A gép jelenleg Chicago belvárosában van, Tom pedig Bostonban. A gép pedig körülbelül 2 000 fontot, azaz közel 1 tonnát nyom.
Ha ez nem lenne elég, tetejében mindennek még hangos is. Nem "huh, ez a dolog hangos" szinten, hanem "beszakad a dobhártyám" szinten. Tovább nehezíti az örökbeadást, hogy kissé lassúcska is szegény. Hogy miért nem viszi magával Tom? Mert Chicago-ból Bostonba kb. 8 000 dollárért szállítaná a megfelelő szállítási körülményeket biztosítani tudó SunMove.

Szóval ha van egy kisebb vagyonra rúgó dollárod a szállításra, vagy rendelkezel egy gazdag amerikai nagybácsival, aki a vállalja, hogy befogadja és üzemelteti számodra a gépet, akkor akár a tiéd is lehet a cucc. :)

A részletek itt olvashatók.

( bra | 2008. 08. 15., p – 20:27 )

13,456 W? Korrekt egy ekkora géptől. A notebookom jelenleg 65,43 wattot fogyaszt...
És gyorsabb is.
:)

Ökölszabályként azt lehet mondani, hogy nagyobb szervertermek hűtése ugyanannyi teljesítménybe kerül, mint amennyi teljesítményt a gépek felvesznek, +-25%. Megfelelő tervezéssel ezt lehet erre-arra mozgatni, pl. a teljesen redundáns hűtés nyilván többe kerül, ha meg értelmes áramlási körülményeket biztosítasz, akkor kevesebbe.

Egyszer vásároltam komolyabb értékű (nekem, csóró vagyok :) műszaki cikket, olyan 100 ezer forint körüli összegbe került. Valami 99,999, vagy hasonló volt az árlistán (A4-es lap a pulton, nyomtatva, akciós).
Odamentem az eladóhoz, kértem, megnéztem, közöltem, hogy jó lesz, kifizetném. Kis bolt volt, a lúzer egyúttal a kasszát is kezelte.
Nyomtam a kezébe egy fémszázast, és odaböktem, hogy nem kell számla, és majdnem távoztam, de utánam kiabált, nem értette. El kellett neki magyaráznom.

Igen, csak itt nem az van írva, hogy "Felvett teljesítmény: 13,456 W", hanem egy idézet az amerikai specifikációból: "Input Power: 13,456 W". Ott meg így írják ezek a szerencsétlenek.

(Egyébként pedig azért maradt így, mert a copy&paste ezt tette) :))

További konfuzálódások elkerülése miatt javítottam magyarra.

--
trey @ gépház

Ez már mozdonyban se rossz.
Háááát... Ha átszámolom, ez nem egészen 19 lóerő. Ez még kispolszkiba is kevés, nemhogy mozdonyba.
---
Sok gyerekkel ellentétben én sose akartam tűzoltó lenni. Lettem helyette informatikus. Nem találjátok ki, hogy mit csinálok nap mint nap...

( csardij v | 2008. 08. 15., p – 20:52 )

hmm, eltenek, meg niif-nek van (volt) ilyenje ha jol tudom
________________________
Blog | Hogyan?

Az oktatási szférának iszonyat discount-jai voltak. Emlékeim szerint az niif az e10k-kat költségár alatt kapta. Ezek kerültek le aztán Gödöllőre és talán az ELTE-re is, bár azt hiszem valamelyik kereskedelmi bank lecserélt e10k-i is az oktatási szférába kerültek végül - rég volt, lehet, hogy keverem a dolgokat.

--
The reason that half of us are in computing at all is that we see computers as things that we can make beautiful things out of..

( sj | 2008. 08. 15., p – 20:54 )

Szemetre/bontoba vele. En ugyan komalom a Sun cuccokat, de letezik az un. esszeruseg fogalma is. Ahogy a cikkben is szerepel, nagyon draga a fenntartasa, es ez a modell nem illik bele a Sun "zold" vonalaba. Szoval erzelmi viszony ide vagy oda, nincs jozan oka annak, hogy barki is elvigye.

ASK Me No Questions, I'll Tell You No Lies

Ha már mindenáron ki akarod vonni a forgalomból, akkor inkább múzeumba küldjed :)
Egyébként meg lehet, hogy van olyan rétegigény, ahol labdába tudna rúgni. Pl. Sun vasakra építő kisebb intézmény, akinek szüksége lehet egyben kb. ilyen teljesítményre, de nem használnák éjjel-nappal, ezért az áramfogyasztás nem lenne kritikus. Vagy valami ilyesmi. Mittudomén.

Az áramszámla igaz, az 1U szerver kissé túlzás. Ez a dög olyan 50 Gigaflops-ot tud elméletileg.

Egyébként a CPU board-jait újra lehet még használni kisebb gépekben, az E3500-4500-5500-E10K vonal mindegyike ugyanazokat a CPU/Memory és IO board-okat használta.

--
The reason that half of us are in computing at all is that we see computers as things that we can make beautiful things out of..

400 MHz-es USII van benne, és 64 GB RAM. Ma már ez a teljesítmény belefér 1U-ba.
De mondj egy tesztet, amiben meg kellene vernie az USII-nek (CPU*MHz, alapon viszonyítva, lineárisnál elvileg nem skálázódhat jobban) egy mai Opteront, vagy Xeont, ha lesz időm, kerítek egy ilyen gépet, és kiszámolom. :)

Egy előnye van a sok processzornak, még ha külön-külön lassúak is: normálisan lehet fejleszteni/tesztelni rajta erősen párhuzamosított alkalmazások skálázódását. Azért 64 processzormagot ma még Intel/AMD alapon nem nagyon lehet egy node-ba összehozni, talán 4 socket * 4 core a max, de ez sem 1U-ban.
---
Sok gyerekkel ellentétben én sose akartam tűzoltó lenni. Lettem helyette informatikus. Nem találjátok ki, hogy mit csinálok nap mint nap...

Ez milyen processzor? Se 8 magos, se magonként 8 threades processzor tudtommal nincs se az AMD se az Intel kínálatában. A Sun Niagara2 lehet, amire te gondolsz, de itt most alapvetően PC-kről volt szó. (Egyébként igazából édesmindegy)
---
Sok gyerekkel ellentétben én sose akartam tűzoltó lenni. Lettem helyette informatikus. Nem találjátok ki, hogy mit csinálok nap mint nap...

"Egy mai high-end 1U-s PC szerver teljesítményét meg sem közelíti ez a cucc."

"Ma már ez a teljesítmény belefér 1U-ba."

1. Ez a két állítás nem ugyanaz:)

2. Én csak az elsővel vitatkoznék, a második valószinűleg igaz.

Mint írtam a 64 db 400-as US2 CPU az olyan 50 Gigaflops névleges elméleti "teljesítmény". A rendszerbusz sávszélessége 12.8 GB/s - ez sem kevés.

Egy mai Opteron vagy Xeon ezt azért nem biztos, hogy eléri (1-2-4 mag legalábbis nem, 8 már talán). Az IBM Cell alapú blade-jei elérik, sőt jócskán többet tudnak - de az meg nem a párezer dolláros 1U-s gép kategória. De ott meg ugye erős szoftveres tudás és átírás, platformraszabás kell, ha ki akarod használni a processzort.

Nézőpont kérdése. :)
1U-s PC-ben, vagy 1U-nyi PC-ben gondolkozva nyilván más jön ki, illetve az sem mindegy, hogy milyen teljesítményt nézünk. Memóriasávszélességben, vagy késleltetésben állhat a megállapítás (Opteron, T2), illetve bizonyos alkalmazásoknál is bőven meglehet, hogy a modern szerver teljesítményét meg sem közelíti az E10k.

A lebegőpontos teljesítmény azoknál a feladatoknál, amelyekre errefelé szükség van nem igazán számít (persze mondhatod, hogy az, aki E10k-t vett elsősorban ebben volt érdekelt :). Mérni sem tudom, nem vettem meg a SPECfp-t. :)
float.c-vel ez látszik:
modern Xeon (3GHz, quad core, 54xx): 


   FLOPS C Program (Double Precision), V2.0 18 Dec 1992

   Module     Error        RunTime      MFLOPS
                            (usec)
     1     -8.1208e-11      0.0246    568.2810
     2      1.4704e-15      0.0204    343.1842
     3      1.5740e-13      0.0321    529.5806
     4      9.3701e-14      0.0078   1929.9285
     5     -4.6208e-13      0.0291    996.8809
     6      3.9450e-13      0.0231   1256.8984
     7     -6.5421e-11      0.0304    394.3573
     8      4.8178e-13      0.0224   1339.0664

   Iterations      =  512000000
   NullTime (usec) =     0.0003
   MFLOPS(1)       =   387.8082
   MFLOPS(2)       =   637.6125
   MFLOPS(3)       =   861.3305
   MFLOPS(4)       =  1066.2040

UltraSPARC IIe (épp ilyen volt kéznél, ez eléggé a széria végéből való) 500 MHz: 


   Module     Error        RunTime      MFLOPS
                            (usec)
     1     -7.6739e-13      0.1069    130.9463
     2     -5.7021e-13      0.0566    123.7569
     3     -2.4314e-14      0.0988    172.0838
     4      6.8501e-14      0.1130    132.7801
     5     -1.6320e-14      0.1632    177.6502
     6      1.3961e-13      0.1277    227.0336
     7     -3.6152e-11      0.1755     68.3578
     8      9.0483e-15      0.1351    222.0295

   Iterations      =  256000000
   NullTime (usec) =     0.0020
   MFLOPS(1)       =   136.2678
   MFLOPS(2)       =   115.8681
   MFLOPS(3)       =   158.6418
   MFLOPS(4)       =   191.7366

T2+ 1,2 GHz: 


   Module     Error        RunTime      MFLOPS
                            (usec)
     1      4.0146e-13      0.0536    261.3194
     2     -1.4166e-13      0.0381    183.5108
     3      4.7184e-14      0.0153   1109.4901
     4     -1.2557e-13      0.0148   1012.3381
     5     -1.3800e-13      0.0574    504.9462
     6      3.2380e-13      0.0274   1057.2308
     7     -8.4583e-11      0.1337     89.7388
     8      3.4867e-13      0.0281   1068.6403

   Iterations      =  512000000
   NullTime (usec) =     0.0000
   MFLOPS(1)       =   252.3698
   MFLOPS(2)       =   216.0743
   MFLOPS(3)       =   441.9283
   MFLOPS(4)       =  1062.5535

Első generációs Opteron (franc se emlékszik mi a típusjele), 2,6 GHz: 


   FLOPS C Program (Double Precision), V2.0 18 Dec 1992

   Module     Error        RunTime      MFLOPS
                            (usec)
     1     -8.1208e-11      0.0185    758.0899
     2      1.4704e-15      0.0097    722.8637
     3      1.5740e-13      0.0173    982.5866
     4      9.3701e-14      0.0118   1270.0288
     5     -4.6208e-13      0.0204   1424.5915
     6      3.9450e-13      0.0196   1478.0968
     7     -6.5421e-11      0.0261    460.1457
     8      4.8178e-13      0.0184   1631.8292

   Iterations      =  512000000
   NullTime (usec) =     0.0008
   MFLOPS(1)       =   791.2378
   MFLOPS(2)       =   792.1997
   MFLOPS(3)       =  1105.9014
   MFLOPS(4)       =  1355.8588

USII-n Solaris 8, a többin 10, gcc 3.4-gyel.

Ha ezekből próbálok okoskodni (MFLOPS(4) melletti számokkal):
négy socketes quad core 1U-s gép Xeonnal: 17056
két socketes 8 magos 1U-s T2-es gép: 16992
64 CPU-s USII (nem tudom, hogy az E10k 400 MHz-es procija és az általam vizsgált 500 MHz-es között mennyi a különbség, mindenesetre órajel alapján visszaosztva): 9800

Az Opteronnal nem is számolok, mert ez még a legelső (2004-es a gép) verzió, azóta gondolom erősödtek ebben is...

Ha a fentieket el tudod fogadni, azt hiszem FLOPS-ban is megállhatja a helyét az, hogy meg sem közelíti egy mai high end 1U-s szerver teljesítményét az E10k. Legalábbis a 17000/9800*100=57%, azaz majdnem a fele.
Magyarul meg sem közelíti. :)

A IIe a II "embedded" - 4 vagy 8 MB 2nd level cache helyett 256k van rajta.

IIe 500 Mhz SpecFP2000: 163 182
II 400 Mhz SpecFP2000: 246 261

Integerben mondjuk kisebb a különbség.

Aki 10k-t vett az általában konszolidáció miatt vette (bár valóban voltak HPC próbálkozások is) - ez volt az első olyan gépe a Sunnak amin fizikai partíciókat lehetett kialakítani és az erőforrásokat menet közben átpakolgatni ezek között a domain-ek között.

Megvan a helye persze. El kell valahogy vitetni Calgaryba, lehetne rajta OBSD-t hekkelni. Ott nem ritka a mínusz 40 celsius sem. Kell mellé építeni a szabadtéri úszómedencét, amelyet az átfolyó hűtővízzel lehetne melegíteni (meg a plázst a pálmákkal). A gyerekek örülnének, a strandbelépő meg fedezné a villanyszámlát.

Hmm, te láttál már váltóárammal működő számítógépet? Elárulom: az E10k tápjai bírják a 110 és 220 voltot is. Viszont van neki több, redundáns tápja, hogy különböző erőművekre köthesd azokat:)

A kőművesmunka viszont tényleg drága lenne. Egyrészt födémmegerősítés (1 m2-en 1 tonna áll) kell, másrészt ezek a dobozok nem mindig szoktak átférni a normál ajtókon, liftek sem szokták elbírni őket - nem egyszer falbontás és külső daru juttatta őket a végleges helyükre. Sőt, olyat is hallottam, hogy valahol Szibériában a Sun utat épített, hogy leszállíthassák a szervert.

Bocs, tévedtem, US-ben is 240V-ot kér:

http://www.e10k.net/

Number of Cords : 5(Max)

AC input1: 200 - 240 VAC, 47 - 63 Hz, 24 A (max)

Plug type - U.S.: NEMA L6-30P, 200 - 240 VAC

Plug type - International: IEC 309, 32 A, 220 - 240 VAC

--
The reason that half of us are in computing at all is that we see computers as things that we can make beautiful things out of..

"Sőt, olyat is hallottam, hogy valahol Szibériában a Sun utat épített, hogy leszállíthassák a szervert."

Hát nem tudom... Ha valahova rendelnek egy Sun gépet, ott feltehetőleg van valami nyoma a civilizációnak. Épület, benne dolgozók, boltok, hogy legyen mit enni, stb. Ezekhez meg kell valamilyen út, mert bizonyára nem a földből nőttek ki.

Szóval most vagy az van, hogy a jegesmedvék rendeltek egy Sun szuperszámítógépet, vagy ez egy legenda. :-)

---
Science for fun...

Nem legenda.

Károsodhat a gép, ha egy bizonyos szögnél jobban megdől a gép szállítás közben - van is valami eszköz a dobozban ami ezt méri (egészen pontosan a board-ok backplane-je az ami sérülhet ilyenkor).

Mintha azt mesélték volna, hogy olajkutatáshoz vették a gépet... de nem esküszöm meg rá.

--
The reason that half of us are in computing at all is that we see computers as things that we can make beautiful things out of..

OK, hiszek neked. Azt viszont továbbra se értem, hogy minek akar valaki egy szuperszámítógépet működtetni a tajga kellős közepén, ahol út sincs.

Azt értem, hogy az olajmezőt ez nem zavarja, de hogy minek kell a gépnek pont a fúrótorony tövében állni, azt nem. :-)

---
Science for fun...

"van is valami eszköz a dobozban ami ezt méri"

Pontosabban a doboz oldalán általában sárga dobozkák, amelyekben apró acélgolyók vannak. Ha egy szögnél jobban megdöntik, akkor ezek a golyók begurulnak egy helyre, jelezve, hogy eldöntötték a stuffot. Vissza már hiába állítják, nem gurulnak vissza. :))

Volt már olyan, hogy HP szervereket cabinetben egyensúlyoztunk ajtón be, ajtón ki, "most jó, ne mozogj!" módszerrel, miközben mereven sasoltuk, nehogy a golyók elguruljanak :)

--
trey @ gépház

( Dwokfur v | 2008. 08. 16., szo – 08:51 )

Sajnos nem örülne neki az asszony... :) Pedig kár... :)

"Jegyezze fel a vádhoz - utasította Metcalf őrnagy a tizedest, aki tudott gyorsírni. - Tiszteletlenül beszélt a feljebbvalójával, amikor nem pofázott közbe."

( turul16 v | 2008. 08. 16., szo – 16:08 )

Miert eszik ennyit ? Ezek max. 25W-os CPU-k, memoria sem eszik olyan sokat, diszkeket kisporoltak, akkor mi eszi a tobbit?

Amit nem lehet megirni assemblyben, azt nem lehet megirni.
2.6.27-rc3-00171-gb635ace-dirty

Vazze, ebben még diszkrét áramkörből van minden, nem IC-kből! :)

Egyébként tényleg jó kérdés, valószínűleg a memóriák, kiegészítő alkatrészek elég sokat elvittek.

Akárhogy is: nem emlékszem, hogy egy ilyen mögött állva olyan meleg lett volna, mint egy tele pakolt HP C7000 mögött. És a légmozgás terén is határozottan kisebb zúgra emlékszem.

( egeresz | 2008. 08. 16., szo – 18:38 )

Nalunk az elte-n van ilyen, 2 db. szelgep.elte.hu
A nagyobbik (400mhz cpu-kkal) sincs kitomve, egy csomo cpu board memoria nelkuli,
talan 32 GBte? nem tudom. A kisebbik csak hever, nem kapcsoljuk be, mert hiaba van gyakorlatilag ingyen az aram, az erosaramu kabelezes kialakitasa, a szoftveres elinditasa semmikeppen nem erne meg. Bonyolult leltarbejegyzese, nem adjuk/nem adhatjuk, sorry.

Ez egy klasszikus NUMA architectura, az opteronok most by design NUMA-k, az intel itanium is szinten NUMA, es egy alig ismert :-) 'Cray inc.' nevu ceg rak ossze gigantikus NUMA-kat. Annyira vacaknak nem neveznem, mondjuk inkabb alkalmas programozotanoncok pvm/mpi beadandoira mint valos ipari/kutatasi szamitasra.

( trey | 2008. 08. 16., szo – 19:15 )

Lehetne gyűjtést szervezni a megmentésére (szállítási költség), mint Isaura felszabadítására annak idején. :)) Mennyiért hoznák ezt el ide? 20 misi?

--
trey @ gépház

( tomaza | 2008. 08. 16., szo – 20:06 )

mindenhol azt hallom, meg itt a hozzászólásokból is azt szűrtem le hogy a szekrény méretű gépeket egészben szállítják

miért?

kivehetoek a CPU boardok (osszesen 16 darab, egyesevel ugy nez ki, mint egy aktataska) (egy cpu boardon van max 2 cpu, meg max 2G ram vagy mi, nemtom) ezek vannak alul. Ami ezen kivul bennevan, az a rack maga, a felugyelet, meg a tapegyseg-rengeteg. Mittomen esszeruen lecsupaszitva, cuccok kulon dobozolva is marad 500 kilo. Ha ennel jobban szetszeded, akkor nem osseszerelesrol beszelunk,hanem restauralasrol.

most ehez csinalni kellene egy fotot kinyitott rackkal,
de hat van google:
http://www.sunshack.org/data/sunpix/E10000_frontopen_zoom.jpg
A rack ugy nez ki, hogy alul a CPU boardok helye, jobbra fent a tapegysegek sora, balra fent, ahol ralog a tepegysegek ajtaja egy szabvany 19'' szerelheto resz, oda kell rakni a diszkeket. Na nalunk oda be van rakva egy peecee 4 darab sata diszkkel, solaris/zfs es giga etherneten adjuk a /home -ot.
Alulrol szivja a levegot es folul fujja ki.

úgy értettem hogy ha ennyi gond van a szállítással, (útépítés, falbontás, daru, stb), miért nem éri meg egyszerűen anyagilag helyben összeszerelni (esetleg még "restaurálni" is) ? (azt értem hogy nem egy pc-t kell összerakni akárkinek, de egy sun szerelő kiszállítva napi díjjal is olcsóbb mint sok esetben a szállítás)

Cpu boardok szama/kiosztasa: akkor a "vagy nemtom" eset all fenn ;)
nem en vagyok az adminja, csak vele egy gepteremben van nehany eszkozom. use wikipedia ;)

A falbontas kontra SUN mernok temahoz:
mondjuk EU -ban van 6 darab sun hardvermernok, aki hitelesitve van E10K -hoz. Ezen kivul van EU-ban szazotvenezer szallitmanyozasi ceg, nagyjabol 2 millio komuvessel. Egy ilyen vasat elemeibol osszerakni egy heten felul van (tesztelessel) kenyesek ezek marhara. Falat bontani es ujraepiteni 3 nap alatt van. Szerinted mi az olcsobb?

Egy masik telephelyunkon nincsen lift. A folyoso tetejen van egy nyithato nyilas, a kezben nem felhozhato vasakat ott beemeljuk daruval. (kijon szmbaton a kiskato es beemeli). 40 rongyert emel a daru. Egy valamirevalo 400 kilo feletti racket minimum 2 orat szedjuk szet es 4 orat rakjuk ossze. (2 ember egyutt). Egy szallitasi napon be/ki emeltetunk 4-6 racket. A tetonyilas kialakitasa mondjuk 400e forinton belul volt. egy racket szetszedve a horukkemberek mondjuk 5e -ert hoznak fel. Szamoljunk:
rack felhozasa szetszedve-kezben-osszerakva: 45e
rack felhozasa daruval: 400e + 5 rackenkent 30e.
11 rack felett mar megeri a tetonyilas+daruztatas. Nagyjabol 25 egyben mozgatott rack mozgatasanal tartunk idaig (8 ev alatt).

A szétszedés/összerakás minimum másfél embernap, úgyhogy a 45E Ft szerintem alul van becsülve, pláne, hogy az szétszedés/összerakás/tesztelés csak részben technikusi/segédmérnöki feladat, eszközök számától, bonyolultságtól függően van benne mérnökóra is rendesen -- szerintem. A 16db CPU-board stimmel, de nem két- hanem négy CPU/board lehet.