Quickbench S02E01: Milyen lehet egy 128 processzoros AMD K6-os gép, avagy: sok lúd disznót győz?

Talán kezdjük a történetet valahol a felejtés ködébe vesző múltban...

1999: egy AMD K6-os CPU-val felszerelt gép előtt görnyedek, és a félhetente kötelező jelleggel újrafordított Linux kernel elkészülését várom.
Sok tíz megabyte-nyi konzolra fröcsögött szemét után másfél megányi gyönyör, zcat /boot/vmlinuz-2.2.5-15 > /dev/audio, és mintha Isten szólna hozzám.
Legalábbis akkor még ezt magyarázták, én inkább már kifelé voltam a kórból.

Szóval az ember ott ül, nézi, ahogy futkosnak a GCC warningok, és arra gondol: de jó lenne ebből a processzorból mondjuk tíz! Nem, inkább 128!

Az mekkora lenne, májerkedhetnék a zircen, hogy nekem csak három másodpercig tart a kernelfordítás! (most arról, hogy annyi idő alatt annyi processz el sem tudott volna indulni, vagy hogy a konzolra kiírni azt a rengeteg szemetet ennél tovább tart ne beszéljünk)
A társadalmi rang, ugye...

2008: év vége, válság, mélabú, ötkor koromsötét. Pedig itt van álmaim gépe! Vagyis volt, mert kellett másnak is.
De mégis! Egy cég legjobb koponyái évekig dolgoztak azon, hogy az álmom beteljesülhessen! 128 AMD K6 egy dobozban!

Íme:

A képen egy Sun T5140 típusú pizzásdoboz látható, amelynek a műszaki paraméterei a következők:

• két darab, 8 magos, 1,2 GHz-es UltraSPARC T2+ CPU, amelyek összesen 128 szálat tudnak kezelni, és 4 MB cache-sel rendelkeznek
• 32 GB FB-DIMM memória
• négy darab gigás Ethernet interfész
• négy darab 15kRPM-es SAS SFF diszk
• 1U rackmount FF
• ILOM a távmenedzsmenthez
• 4 Gbps-es FC HBA

Láttunk már ilyet, mondhatnánk (Sun T2000, T1-es CPU-val), de nem lenne igazunk, mert a gép, és a processzor is rengeteget változott.

Kicsomagolás után hátulról ezt láthatjuk:

Bár a Sun a "Coolthreads" címkét ragasztja a gépekre, azért ez mégsem egy Intel 80286, azaz valamivel mégiscsak hűteni kell. Mondjuk hideg levegővel, elölről etetve:

A funkciót egy sor apró (az 1U-s magasság miatt persze nem is lehetne nagyobb, hacsak nem döntik el, de úgy meg csak arra lenne jó, hogy a szervert lebegtesse a föld fölött, ami bár kétségtelenül rendkívül jól nézne ki, sok haszna mégsem lenne) ventillátor valósítja meg, amelyek a feladatuk ellátásához majdnem gyorsabban pörögnek, mint a gép merevlemezei.
A diszkek percenként 15 ezerszer mondanak hellót a felettük csúszkáló fejeknek, míg a kis fémlapátos barátaink a gép szerint több, mint 12 ezerszer rotálódnak per minutum:

én biztos hánynék a helyükben, bár a sok G miatt lehet, hogy ki se tudna jönni.

A kényelmesen nyitható ventillátor-tálca fedele egybe van építve a lényeget védő, takaró fedéllel, így ha bele szeretnénk kukucskálni a széndioxid-kibocsátás csökkentésének eme remekművébe, egyben el kell távolítanunk mindkettőt. Így:

Belül csodaszép rendezettség található, balról jobbra az őrült módjára pörgő szélkerekekkel, utánuk a két darab T2+ processzorral, majd a csak két marokban elhelyezhető mennyiségű memóriamodulokkal, utánuk pedig mindenféle ilyen-olyan alkatrésszel, amelyek rendeltetése nagy, sárga címkék hiányában ismeretlen. Nem is tudom minek rakják oda, csak a helyet foglalják.
Ja, és alul van még két darab menet közben cserélhető tápegység, amely az ilyen nem telkós géptermek nagy részében érthetetlen módon jelen lévő váltóáramot konvertálják egyenárammá (AC/DC, 2009-ben élőben is meg lehet hallgatni) némi kamatért cserébe.
A hangsúly persze a kettőn, és a menet közbenen van, sajnos vannak olyan elvetemült gyártók, amelyek nem szégyellnek egy, vagy kettő, de csak offline cserélhető tápot tenni ezekbe a dobozokba.

Tudnak ezek a kínaiak ha akarnak, na, ott a Fujitsu nevű japán cégnél (őőő):

Most művészi makrók a memóriákról módjával (alliteráció rulez):

aztán memóriák közé dugott LSI SAS vezérlő, és annak az csatlakozója, szép zöld karámba zárva, hogy itt is tudatosuljon bennünk: ez egy econo szerver (ami azt jelenti, hogy az üzemeltetése kevésbe kerül, de attól még lehet az elején marha drága):

és PCI riser (három darab nyolc csatornás PCIe slotunk van):

Kicsit távolodva a NYÁK-os témáktól, a tápok helye, és maga a táp (Delta 720W-os):

Elhagyva a belsőségeket, de még egy kicsit elidőzve a hátsó fertályban láthatunk közelről pakettblastgenerátor-dugókat (négyet, gigabiteset), soros és Ethernet menedzsment csatlakozót, USB-t (ha kevés lenne a belső tárhely, ide köthetünk még), és egy rejtélyes "IOIOI" feliratú, ismeretlen rendeltetésű konnektort, amely olyan furcsán eltér a többitől:

Most, hogy meganalizáltuk a gépet, nézzük meg az arcát is, ahol a ventillátorok fújják be a levegőt (blowjob), remélhetőleg úgyis azt fogjuk többet látni (sőt, inkább azt se!):

Láthatjuk, hogy a szerver nem fél a magasságoktól, még a nálánál hatszor nagyobb doboza tetejére is felül, ha szépen kérjük. "Gyári" kiszerelésben a bal oldalon két diszkkel, a jobb oldalon pedig két "killer" (izé, filler, szemüveg nélkül nem látok jól, de ezek szerint a kínaiak sem, mert lehagyták a vesszőt az é-ről, biztos arra akartak célozni, hogy az üres keret filléres tétel, nyugodtan kidobható) feliratú keret van, utóbbi kettőt gyorsan kukáztuk, ahogy kérték, majd betoltunk két ugyanolyat, mint bal oldalt volt.

A gép fedőlapján szokás szerint gyerekeknek készült képregény látható:

amely kedvességtől minden alkalommal könnybe lábad a szemem, így elolvasni sajnos még sosem volt érkezésem.

Miután így jól megvizsgáltuk az új jövevényt, megkértem szőrös karú segédemet, hogy tolja be a "téötezerszáznegyvenest" a helyére, amit kijelölt számára, és ahol majd én jól megnézhetem, a gépterem zajától távol eső karosszékemben:

Itt is szeretném megköszönni neki a segítséget, mert így, bár nem nehéz a gép, távmenedzsmenten edződött pipaszár testem lesérülését megelőzendő én távol maradhattam a férfias fizikai munkától.

Miután a vasat kivégeztük, leltárt készítettünk, és találtunk még egy szépen kinéző UTP kábelt is, amit inkább óvatosan visszacsomagoltunk, nehogy elrontsuk:

Eddig tök jól éreztük magunkat, mozogtunk, friss levegőt szívtunk, de éreztem, hogy ezután már nekem is kellene csinálnom valamit, így hát megnéztem mi az a Sun Integrated Lights Out Manager.

Mi más lenne, mint távmenedzsment eszköz. Elérhetjük weben:

és a root/changeme usernév/jelszó párossal (alapból) ssh-val is, ahol rögtön el is indíthatjuk rajta a Solarist, amit előtte már valaki kikapcsolt:

-> start SYS

-> start /SP/console
Are you sure you want to start /SP/console (y/n)? y
Serial console started.  To stop, type #.

syncing file systems... done
Program terminated
r)eboot, o)k prompt, h)alt? o


T5140, No Keyboard
Copyright 2008 Sun Microsystems, Inc.  All rights reserved.
OpenBoot 4.28.0, 32544 MB memory available, Serial #82365864.
Ethernet address 0:14:4f:e8:cd:a8, Host ID: 84e8cda8.

Ignoring auto-boot? setting for this boot.
{0} ok boot -s
Boot device: /pci@400/pci@0/pci@8/scsi@0/disk@0,0:a  File and args: -s
SunOS Release 5.10 Version Generic_127111-11 64-bit
Copyright 1983-2008 Sun Microsystems, Inc.  All rights reserved.
Use is subject to license terms.
Booting to milestone "milestone/single-user:default".
Hostname: unknown
Requesting System Maintenance Mode
SINGLE USER MODE

Root password for system maintenance (control-d to bypass):
single-user privilege assigned to /dev/console.
Entering System Maintenance Mode

Jul  8 00:39:17 su: 'su root' succeeded for root on /dev/console
Note: Sun Java Enterprise System 5 Update 1





For your convenience this server has been shipped with the Sun Java
Enterprise System 5 Update 1 (Java ES 5 Update 1) distribution.  The
distribution is available for installation from:

         /var/spool/stage/JES5U1/Solaris_sparc
                          or
         /var/spool/stage/JES5U1/Solaris_x86

Details about Java ES can be viewed at:

         http://sun.com/jes

If you wish to install any of the enterprise class products from the Java ES
you must run the Java ES installer from one of the directories listed above.

Prior to installing any of the Java ES products please review the
Installation Guide available at:

         http://docs.sun.com/app/docs/coll/1286.3

For more information about pre-install software from Sun and information
about removing this message please see:

         http://www.sun.com/software/preinstall/
Sourcing //.profile-EIS.....
root@unknown #

Nézzük meg a webes konzolt, ahol nézhetünk firmware információkat, menedzselhetjük a komponenseket, megnézhetjük a naplót, azt, hogy mennyit fogyaszt a szerver, és meddig mehetünk még el:

állíthatunk web- és ssh szerver-paramétereket, hálózati beállításokat, és akár az órát is:

az ILOM tud syslogba írni, és SMTP-n levelet küldeni, ha gáz van (képletesen, gázérzékelő nincs benne), tud LDAP-ot, RADIUS-t, és AD-t használni azonosításhoz:

lehet vele persze újraindítani a szervert, vagy az OS-t core dumpoltatni (YAY!), állítható a boot mód is:

Miután ezeken túljutottunk, nézzünk kicsit a körmére a gépnek.

Önmaga szerint 402 Wattot fogyaszt a drága áramunkból, miközben semmi más nem történik, csak a Solaris (10) futtatja az idle loopot.
Mivel a Sun a T2-es (és a T1-es, ha már itt tartunk) processzorokat, és a rájuk épített rendszereket úgy reklámozza, hogy rendkívül energiatakarékosak, és ezt még megfejelik azzal, hogy bár az energiát Pakson hagyják, a teljesítményt viszont a nappalinkba (vagy ki hol tartja ezeket a szuperszámítógép-teljesítményű gépeket) hozza, izgalmas kérdés volt a fogyasztás, és a teljesítmény.

Az első kérdés rögtön adta magát: mit állítsunk szembe ezzel a géppel? Mivel másunk éppen nem volt szabadon, mi egy HP DL380G5-tel mértük össze, amelynek a paraméterei a következők voltak:

• két darab, 4 magos, 3 GHz-es Xeon processzor, 12 MB L2 cache-sel
• 16 GB FB-DIMM memória
• két darab gigás Ethernet interfész
• négy darab 15kRPM-es SAS SFF diszk
• 2U rackmount FF
• ILO a távmenedzsmenthez
• 2 Gbps-es FC HBA

Igazságtalanság lett volna azonban a fogyasztást a gépek saját eszközeivel mérni, mivel ezeket nem tudtuk volna egymáshoz mérten kalibrálni, így vettünk egy fogyasztásmérőt, és a teszteket azzal végeztük el.

Az első teszt tehát az üresjárati fogyasztás:

396,6 W, amely körülbelül megegyezik az ILOM által jelzett 402 Wattal.

Mivel az FB-DIMM memóriák meglehetősen energiazabáló hírében járnak, az igazságosság érdekében a T5140-ből eltávolítottuk a memória felét, így a modulok kapacitása, száma, és így összkapacitása is megegyezett.

A 16 GB memória eltávolítása után a 396 wattos fogyasztás leesett 318 Wattra:

Ezután jött az ellenpróba: rádugtuk a DL380-ast is a mérőkére, amely üresjáratban, ugyanazzal a Solarisszal, mint a SPARC-on 296 Wattot mutatott:

Tehát:
T5140 32G: 396,6W
T5140 16G: 318,2W
DL380 16G: 295,9W

A semmittevésben tehát a PC a jobb, nézzük meg, vajon megmarad-e az előnye, ha dolgozni is kell.

Mivel alapvetően arra voltam kíváncsi, hogy a két gép között az architekturális (CPU) különbségek okán mennyi lehet az eltérés, először egy CPU tesztet futtattam (nbench), egyre több szálon:

Jól látszik, hogy hiába fogyaszt olyan keveset a PC üresjáratban, a fogyasztásbeli előnyét már akkor elveszti, mikor egy nbench processz fut.

Nézzünk valami memóriaintenzíve(bbe)t is! A sysbench memória tesztjét futtatva ezeket a fogyasztási görbéket kapjuk:

Az előny itt is jól látszik.

Együtt futtatva a két programot:

mindkét gépnek kivillan a foga fehérje, a DL380 majdnem 430 Wattig szalad, de a T5140 is felmegy 403 Wattra 64 szálnál.

Érdekességképpen ugyanezeket a teszteket elvégeztem a DL380-ason Linuxszal és FreeBSD-vel is.
Az eredmény, a Solaris 10-nél korábban látott eredményekhez képest:

Egyértelmű nyertes itt nincs, talán a sysbench memória tesztjénél mondható ki valamennyire sorrend, ott nagyobb terhelés alatt a FreeBSD fogyasztott a legkevesebbet, utána a Linux, majd a Solaris következett.

Az üresjárati fogyasztás a grafikonon nem látszik, az tized Watt eltérésekkel mindhárom OS-en 295W körül alakult.

A grafikonokra vetett egyetlen pillantás is elég a szerelemhez: a DL380 egy rezsó igyekezetével melegíti a környezetet, míg a T5140 alig fogyaszt valamit.
Persze a grafikonok csalókák, hiszen nem szerepel rajtuk az üresjárati fogyasztás, és az y tengely sem nulláról indul. Azt, hogy ez utóbbi mennyit számít, igen jól szemlélteti, ha kiszámoljuk mennyi a két gép csúcsfogyasztása közti különbség. 6 (hat) százalék.

Na de nézzünk a számok mögé, mert bár bármennyire is jól néz ki a Sun fogyasztása, mindez csak a leadott teljesítmény ismeretében ér bármit is.

Az nbench az alábbi görbéket (egyeneseket) rajzolja:

Látványos, de mi a frászkarikát jelentenek ezek a számok? Szorzókat, amelyek azt mutatják, hogy az nbench által futtatott (mem, int, float) tesztek hányszor gyorsabban futnak, mint a referencia gépen.

Azaz egy AMD K6 233 MHz-en. :)

A T2-es CPU-n egy szálon 1,595, 2,415 és 3,149-szer gyorsabban fut, mint a K6-oson, innen tehát a címben szereplő 128 processzoros hasonlat.

Az igazsághoz hozzátartozik még valami, ez pedig az, hogy az nbench értékek egy másik DL380 G5-ösön készültek, nem pedig a tesztben mindenhol máshol használt gépen. Sajnos ezt a hibát már csak utólag vettem észre, de az eredmények ennek fényében még látványosabbak.
Az illető DL380-as nem csak a magok számában (2x4 helyett 2x2), hanem azok sebességében, és generációjában is eltértek (2,33 GHz-es E5345).

nbenchet mission critical rendszerekben csakis Xeonon futtassatok!

Még egy érdekes megjegyzés a teszttel kapcsolatban: a prstat kimenetében szépen látszik, hogy a Solaris ütemezője nem véletlenszerűen rakja szét a virtuális CPU-kra a processzeket, hanem minden magra egyenletesen oszt, amíg van belőle szabad.
Négy processznél:

  5444 root     2232K 1712K cpu80    0    0   0:03:32 0.8% nbench/1
  5449 root     2232K 1712K cpu112   0    0   0:03:32 0.8% nbench/1
  5445 root     2232K 1712K cpu64   10    0   0:03:32 0.8% nbench/1
  5447 root     2232K 1712K cpu104   0    0   0:03:32 0.8% nbench/1

16-nál:

  7233 root     2232K 1448K cpu36    0    0   0:01:08 0.7% nbench/1
  7267 root     2232K 1448K cpu88   50    0   0:01:08 0.7% nbench/1
  7272 root     2232K 1448K cpu57   50    0   0:01:08 0.7% nbench/1
  7261 root     2232K 1448K cpu40    0    0   0:01:08 0.7% nbench/1
  7264 root     2232K 1448K cpu9     0    0   0:01:08 0.7% nbench/1
  7249 root     2232K 1448K cpu4     0    0   0:01:08 0.7% nbench/1
  7253 root     2232K 1448K cpu52    0    0   0:01:08 0.7% nbench/1
  7241 root     2232K 1448K cpu60    0    0   0:01:08 0.7% nbench/1
  7270 root     2232K 1448K cpu96    0    0   0:01:08 0.7% nbench/1
  7277 root     2232K 1448K cpu64    0    0   0:01:08 0.7% nbench/1
  7237 root     2232K 1448K cpu24    0    0   0:01:08 0.7% nbench/1
  7225 root     2232K 1448K cpu28    0    0   0:01:08 0.7% nbench/1
  7229 root     2232K 1448K cpu112   0    0   0:01:08 0.7% nbench/1
  7245 root     2232K 1448K cpu12    0    0   0:01:08 0.7% nbench/1
  7257 root     2232K 1448K cpu17   50    0   0:01:08 0.7% nbench/1
  7274 root     2232K 1448K cpu33    0    0   0:01:08 0.7% nbench/1

Most, hogy az nbenchet kivégeztünk, térjünk át a sysbench memória tesztjére.

Mint a legelején említettem, a T5140-ből eltávolítottunk 16 GB memóriát (a modulok felét) annak érdekében, hogy egyenlő lehessen a küzdelem a DL380-assal szemben.
A memóriatesztet azonban elvégeztem 16 és 32 GB RAM-mal is. Az eredményt ezen a grafikonon lehet összehasonlítani, amelyre felkerült a DL380 is:

Megfigyelhető, hogy a Sun gépe jóval nagyobb memóriasávszélességgel bír, mint a HP-é, amelyet (természetesen) tovább növel az, ha dupla annyi modult használunk.

A csúcsérték a T5140-es esetében 32 GB memóriával, 64 szálon, 128 MB-os blokkmérettel 22,87 GBps, 16 GB memóriával 128 szálon, 8 MB-os blokkmérettel 21,47 GBps volt.
Ezek után szinte nevetséges a DL380-as "maximális teljesítménye", amely 1024 szálon, 64 MB-os blokkmérettel 4,25 GBps volt.
Na majd a Nehalem ezt is rendbeteszi, mondhatják az Intel-fanok.

Most, hogy ilyen jól túlvagyunk azokon az alkalmazásokon, amelyek ezen platformok húzóágát képviselik, nézzünk valami érdektelenebbet is.

Mint azt már láthattuk, a T2-es egy végtelenül lassú processzor, azonban az ereje (többek között) abban kell(ene) legyen, hogy ezt a lassúságot sok-sok szálnál/processznél is tartja, így végső soron megfelelő -párhuzamos- terhelés alatt a sok lúd legyőzi a disznót. (látott már valaki disznót repülni? Na azt biztos nem győzi le!)

A kérdés csak az, hogy tudunk-e olyan alkalmazást találni, amely képes kihasználni ezt a masszív párhuzamosságot, illetve hogy mi képesek vagyunk-e akkora terhelést rakni a gépre, amitől azért még nem rogy meg, de elég stresszt jelent neki ahhoz, hogy kidomborítsa az izmait.

Ha jobban elgondolkozunk ezen a kérdésen, egy dolog még mindenképpen eszünkbe kell, hogy jusson. Mert hát szép, és jó, hogy több ezer klienssel már kezd a sok kicsi olyan sokra menni, hogy megéri a gép, nade az egyes szálak rettentően lassú teljesítményét nem fogják megérezni az egyes kliensek a válaszidőben?
Végső soron az, hogy egy szerver képes kiszolgálni sok ezer klienst nekünk jó, de ha a látogatóink közben elviselhetetlenül lassú válaszidőket tapasztalnak, már nem ennyire pozitív a helyzet.

A válaszidő méréséhez egy olyan szerverprogramot vettem igénybe, amely kellően elterjedt és rendelkezésre áll a terheléshez, illetve a válaszidő-méréshez megfelelő alkalmazás.

Mindkét gépre telepítettem tehát egy 9.5-ös bindot, készítettem egy megfelelően nagy random adatokból álló lekérdezés-listát, majd sorban végrehajtottam a következőket:

• elindítottam a bindot 1-128-ig változó thread számmal
• indítás után végigkérdeztem a random listát, hogy annak minden eleme bekerüljön a cache-be
• a dnsperf programmal változó konkurrenciával (hány kérés lehet megválaszolatlanul a dróton) elkezdtem kérdezgetni a listából

A tesztből egyrészt kiesik, hogy adott bind és kliens párhuzamosságnál hány kérést tudott megválaszolni a szerver, illetve az is, hogy ezeket milyen válaszidővel tette:

Látható, hogy a T2-es nem remekelt ebben a tesztben, QPS-ben (Queries Per Secundum) a Xeon bőven megverte, azonban ehhez hozzá kell tenni, hogy a bind egy tipikus mai program: nem skálázódik jól sok processzorra.
Érdemes még szót ejteni a válaszidőkre is. Az átlag-válaszidőkben is nagyon jól kijön, de a maximumoknál látszik igazán: a T2 hiába lenne gyors -már persze ha az alkalmazás képes lenne valamit kezdeni 128 szállal-, az egyedi szálak válaszideje igencsak elmarad a versenytárstól.
Az átlagértékeket tekintve a legrosszabb esetben 292%-kal, míg a maximum válaszidőket tekintve 334%-kal rosszabb teljesítményt mutatott a T2 a Xeonhoz képest 128 bind szálnál.

Azt hiszem azt a bind sutaságától függetlenül kijelenthetjük, hogy a T2 nem azoknak való, akik a minél alacsonyabb válaszidőket keresik.

De nézzünk egy kicsit tovább is. A gépről eddig sem gondoltuk, hogy DNS szervernek való (bár éppenséggel az adottságai alapján -a válaszidőket leszámítva- megfelelő programmal még az is lehetne). De hát akkor mire tudnánk használni? (az adatbázis-szerveres témát hagyjuk, arrafelé 128, 256, 512 párhuzamos kapcsolat már meglehetősen soknak számít, a Java-alkalmazásszerveres, webszerveres dolgok pedig számomra nem túlságosan vonzóak, lévén, hogy nem foglalkozom ilyennel (bár a párhuzamosság kapcsán azért ott is vannak kételyeim))
Nos, egy, a kezemben lévő ajánlás szerint ez a szerver nagyon jó lehet például mailbox clusterbe (SMTP, POP, IMAP, ilyesmi), nyilván nem a belső diszkjeivel, hanem valamilyen SAN-os tárolóval.

Járjuk végig ezt az utat!

Kezdjük mondjuk egy olyan teszttel, amelynek van valami köze az internetes levelezéshez, de kellőképpen elrugaszkodott a valóságtól ahhoz, hogy érdekes legyen. :)

Kézbesítsünk e-maileket mondjuk postfixszel a /dev/null-ba!

A tesztkörnyezetről annyit, hogy mindkét tesztszerver (T5140, DL380 G5) két-két gigabites dróttal volt bedugva a teszt switchbe, amelyen lógott kilenc darab (szintén két-két Gigabit Ethernettel kapcsolódó) kliens.
A leveleket ezek a kliensek küldték, amennyire lehet egyenlően elosztva a kapcsolatokat a kliensek, azok interfészei, és a szerverek interfészei között (értelemszerűen egy párhuzamos kapcsolatnál csak egy TCP stream volt nyitva, de 18-nál már mindegyik útvonalra esett egy).

A teszteket 50 kB-os levelekkel végeztem, mivel a tapaszalat azt mutatja, hogy körülbelül ennyi lehet az átlag levélméret.

A teszt a fentieken kívül még annyi érdekességet tartalmazott, hogy az egyik futásnál minden levél egy TCP kapcsolaton ömlött be (azaz ha éppen 128-as kliens-párhuzamosságnál jártunk, 128 TCP kapcsolat nyílt a teszt elején, és annak végéig ezek nyitva is maradtak, minden levél ezeken ment be), míg a másiknál minden levél a saját TCP kapcsolatán esett be a rendszerbe (HELO, MAIL FROM, RCPT TO, DATA, QUIT).

A grafikonokon a "one" az egy kapcsolaton történő többszörös levélküldést, míg a "many" a kapcsolatonkénti egy levél küldését jelzi.

A két grafikon a görbéket tekintve megegyezik, a különbség csak annyi, hogy míg a bal oldalin másodpercenkénti üzenetek, addig a jobb oldalin másodpercenkénti bájtok láthatók.

Jól azonosítható különbség mutatkozik a "one" és "many" esetek között, hiszen ilyenkor a kliensnek, és a szervernek is jelentősen több munkája van, ráadásul a TCP handshake is időbe telik (DNS feloldás nem volt, a listen queue hosszú volt).

A Xeon itt is nagyon rávert a T2-re, pedig itt tényleg csak a biteket kellett lapátolni, ráadásul a postfixben (a master processzen, és a queue manageren kívül, amelyek közül itt utóbbi nem kapott szerepet) nem tudok olyan limitről, ami gátolhatta volna a platform erejének kirobbanását.

Igen látványos a görbe alja, ahol a T2 szinte lerajzolhatatlan számú levelet tudott kézbesíteni, míg a Xeon már egy szálon is képes volt majdnem 500 levelet benyelni a semmibe.

Érdekes még az is, hogy bár sokak szerint a T2-nek az egyik legnagyobb erőssége az, hogy képes sok szálú terhelésnél is megtartani a maximális teljesítményét, ebben a tesztben elég nagy ingadozás látszott, amit a többszöri ismétlés sem tudott teljesen eltüntetni.

A Xeon ennél nagy párhuzamosságoknál is sokkal egyenletesebb értékeket mutatott.

A T2 alulról nyújtózkodott a Gigabit felé, míg a Xeon jócskán ráverve jobban ki tudta használni a második adaptert is.

Miután az értelmetlen levélkézbesítésen túltettük magunkat, nézzünk valami életszerűbbet.

A fent említett ajánlás természetesen nem Postfixet feltételez, hanem a Sun levelező és kommunikációs megoldását, a Sun Java Communications Suite-ot.
Ez a termék magában foglal több komponenst is (kalendárium, webmail, instant messaging, stb), mi azonban csak a "mail core"-t a Messaging Servert fogjuk vizsgálni.

A szoftver létezik mind SPARC-ra, mind pedig x86-ra, tehát kiválóan megfelel a tesztkörnyezetünknek. A tesztben a legújabb, 6-os verziót próbáltam, amely -többek között- a Messaging Server 7-es verzióját tartalmazza (kicsit nehezen követhető, mint általában minden, ami a Suntól jön).

A tesztkörnyezet a postfixes teszthez képest változatlan: a szerverek ugyanúgy 2xGbps-szel csatlakoznak, a kliensek pedig erre a két interfészre egyenlően szórják a leveleket.

Ami változott az az, hogy a gépek kaptak Fibre Channelen kiajánlott diszkeket, amelyeket szándékosan egyesével, diszkdoboz oldali cache nélkül kaptak meg.
Ezek a kísérlet valódi céljából következnek, mely szerint azt szerettük volna megvizsgálni, hogy a Sun Thumper (X4500-as szériájú) SATA-s diszkdobozai mennyire alkalmasak a Messaging Server számára.
Sajnos a diszkek felé nem tudtunk akkora sávszélességet (a Thumperben minden diszk saját SATA vezérlőn van) adni, viszont a teszt során az FC kapcsolat terheltségét figyelve arra a következtetésre jutottam, hogy a nagyobb sávszélesség nem sokban (ha egyáltalán) befolyásolta volna a végeredményt.

A diszkdobozokban egyébként szintén 7k2RPM-es SATA diszkek voltak (mint a Thumperben), és a fentiek miatt bár igen nagy cache-sel (16 GB egyenként) rendelkeztek, annak kikerülésével, JBOD-ként ajánlottuk ki a diszkeket.

A teszt során a Messaging Server által írt minden fájl ezekre a diszkdobozokra került, a diszk pool pedig 1-től 30 diszkig nőtt, amellyel azt kívántuk meghatározni, hogy a diszkek számának a növelése mennyire hat ki a Messaging Server teljesítményére.

Minden szerver önálló egységet alkotott, tehát minden, a működéshez szükséges szolgáltatás, fájl helyileg elérhető volt, nem volt külső függőség.

Az első teszteket -ahogy az az ajánlásban szerepelt- ZFS-sel végeztem, a poolba egyre több diszket helyezve:

Az első képen a Postfix-tesztben már megismert "egy levél egy kapcsolat" felállás, míg a másodikon az "egy kapcsolaton az összes levél" típusú megközelítés eredménye látható.

Látszik, hogy az egy diszkhez képest a harminc diszk javít a teljesítményen, de valahogy ennél én többet vártam...

Kicsit a dolgok után nézve, a T5140-esen ez látszik a topban 768 párhuzamos klienskapcsolatnál:

last pid:  8758;  load avg: 178.1,  89.0, 101.8;       up 9+04:34:30   16:15:16
78 processes: 66 sleeping, 1 running, 11 on cpu
CPU states: 12.7% idle,  4.1% user, 83.1% kernel,  0.0% iowait,  0.0% swap
Memory: 16G phys mem, 8084M free mem, 4104M total swap, 4104M free swap

  PID USERNAME LWP PRI NICE  SIZE   RES STATE    TIME    CPU COMMAND
 8742 mailsrv  104   0    0   94M   76M cpu/98  11:30  8.85% tcp_smtp_server
 8744 mailsrv  104   0    0   94M   77M cpu/123  11:18  8.82% tcp_smtp_server
 8738 mailsrv  104   0    0   94M   77M cpu/85  12:04  8.82% tcp_smtp_server
 8740 mailsrv  104   0    0   94M   77M cpu/8   11:49  8.77% tcp_smtp_server
 8732 mailsrv  104   0    0   96M   79M cpu/41  12:07  8.76% tcp_smtp_server
 8746 mailsrv  104   0    0   93M   76M cpu/123  10:59  8.58% tcp_smtp_server
 8750 mailsrv  104   0    0   93M   75M cpu/121  10:40  8.33% tcp_smtp_server
 8749 mailsrv  104   0    0   94M   76M cpu/86  10:39  8.32% tcp_smtp_server
 8752 mailsrv  104   0    0   93M   76M cpu/110  10:22  8.10% tcp_smtp_server
 8755 mailsrv  104   0    0   93M   76M cpu/105  10:01  7.82% tcp_smtp_server
 8737 mailsrv   16   0    0  176M   40M run      0:32  0.40% ims_master
 8736 mailsrv   16  59    0  176M   40M sleep    0:21  0.25% ims_master
 8711 root     207  59    0  435M  238M sleep    2:11  0.14% webservd
 8721 mailsrv    3  59    0  127M   69M sleep    0:07  0.05% stored
 7898 root      51  59    0  266M  249M sleep    0:21  0.04% ns-slapd 

A 83,1% kernel meglehetősen magasnak tűnik! A DTrace szerint a kernelben töltött időben az alábbiak a toplistásak:

zfs`fletcher_2_native                                     219   0.1%
unix`_resume_from_idle                                    237   0.1%
SUNW,UltraSPARC-T2                                        314   0.1%
unix`disp_getwork                                         569   0.2%
unix`cpu_halt                                           22431   7.3%
unix`lock_set_spl_spin                                  43870  14.3%
unix`mutex_vector_enter                                237146  77.1% 

A lockstat szerint:

Profiling interrupt: 747538 events in 60.203 seconds (12417 events/sec)

Count genr cuml rcnt     nsec Hottest CPU+PIL        Caller                  
-------------------------------------------------------------------------------
645011  86% ---- 0.00     2236 cpu[56]                syscall_trap            
636091  85% ---- 0.00     2219 cpu[52]                mutex_vector_enter      
635090  85% ---- 0.00     2222 cpu[44]                fdsync                  
635089  85% ---- 0.00     2222 cpu[44]                fop_fsync               
635087  85% ---- 0.00     2222 cpu[44]                zfs_fsync               
635085  85% ---- 0.00     2222 cpu[44]                zil_commit              
129383  17% ---- 0.00     2473 cpu[14]                turnstile_lookup        
129233  17% ---- 0.00     2473 cpu[14]                lock_set_spl_spin       
73249  10% ---- 0.00     2765 cpu[47]                thread_start            
71245  10% ---- 0.00     2753 cpu[110]               idle                    
70445   9% ---- 0.00     2756 cpu[110]               cpu_halt                
26934   4% ---- 0.00     3943 cpu[0]                 (usermode)              
 6800   1% ---- 0.00     2406 cpu[0]                 zil_itx_assign
...

és:

Count indv cuml rcnt     spin Lock                   Caller                  
-------------------------------------------------------------------------------
809952  71%  71% 0.00      289 0x300581e6c40          zil_commit+0x44         
32488   3%  73% 0.00       11 0x60000871a40          vn_rele+0x18            
23153   2%  75% 0.00      127 0x300581e6c40          zil_itx_assign+0x4      
17496   2%  77% 0.00       11 0x60000871a40          lookuppnvp+0x4e0        
15031   1%  78% 0.00      101 0x300581e6c40          zil_commit_writer+0x234 
14834   1%  80% 0.00       18 0x3000fddbe10          dsl_dir_tempreserve_clear+0x4c
14552   1%  81% 0.00       19 0x3000fddbe10          dsl_dir_tempreserve_impl+0x20
13412   1%  82% 0.00        4 0x60005b953f0          zfs_zget+0x1c           

13310   1%  83% 0.00       18 0x3000fddbe10          dsl_dir_willuse_space+0x8
13133   1%  84% 0.00       11 0x60000871a40          lookuppnat+0xa4         

Nocsak, lehet, hogy a ZFS még nem T2-ready? Ennyi CPU-ra jól skálázódó programot tényleg nem egyszerű írni, bár az némileg kellemetlen, hogy pont a ZFS-nél jön elő ilyen...

A fentieken felbuzdulva nézzük meg, hogy ZVOL-on hogy muzsikál az UFS, hátha jobb eredményeket kapunk!

Hát, ez is valami. A csúcsteljesítmény jelentősen javult, az alacsonyabb párhuzamosságnál mutatott teljesítmény rovására.

Nézzük meg mi történik, ha letiltjuk a ZIL-t:

a vártnak megfelelően a gépek elkezdenek száguldani, annyira, hogy a T5140 magas párhuzamosságnál rövid időre utol is éri a DL380-ast.

A ZIL-t nem érdemes letiltani, viszont azt, hogy a fenti problémát a Sun is érzi jelzi, hogy az újabb szerverekben beépített flash (SSD) szolgál majd a ZIL tárolására, amely ha a letiltással egy szintre nem is hozza majd a ZFS-t, minden bizonnyal jelentősen emeli majd a sebességet.

Összefoglalva a fentieket: a Sun T5140 (és az UltraSPARC T2+) egy nagyszerű szerver, kiváló menedzsment-képességekkel és megbízható, korrekt, jól felszerelt hardverrel.

A fogyasztása összességében véve -súlyozva a tesztekben mutatott átlag-teljesítménnyel, és a Magyarországon szokásos, "hullámzó" terhelési görbékkel- azonosnak mondható a xeonos társáéval, bár ezügyben biztosat csak akkor tudnék állítani, ha ugyanolyan terheléssel járattam volna mindkettőt, és közben mértem volna a Wattórákat.

A gép (CPU) olyan képességekkel is rendelkezik, amelyeket itt nem vizsgáltam (hardveres virtualizáció, particionálás, beépített 10GE NIU, encryption offloading), viszont meghatározott célterületeken alkalmasak lehetnek arra, hogy jelentősen elmozdítsák a teljesítménymérleg nyelvét az Intel világgal szemben.

Összességében véve azt gondolom, hogy a jövő mindenképpen az ehhez hasonló processzorokban van (ahogy azt láthattuk is az x86-ok irányváltásából), viszont a kihasználásukhoz megfelelő feladat, és nemkülönben megfelelő eszközök (alkalmazások, módszerek) szükségesek.

Aki ma ilyen szerver vásárlására adja a fejét, előtte mindenképpen tájékozódjon, mert itt csak két véglet van: vagy nagyon jó lesz arra, amire veszi, vagy nagyon nem.