Phoronix benchmark Ubuntu-n és Fedora-n

Linux

A Phoronix nemrég egy Ubuntu disztribúciókat (7.04, 7.10, 8.04, 8.10 RC) összehasonlító teljesítmény elemzést készített. A cikk itt olvasható. A tesztben egy Lenovo Thinkpad T60-as laptopon futatták a "Phoronix Test Suite 1.4.0 (Orkdal) Beta 1" teszt rendszert (letölthető innen), ami a következő területeket tesztelte:

  • OpenGL / Gaming
  • Desktop / GTK
  • Memory
  • Audio/Video Encoding
  • Computational
  • Database
  • Compilation
  • Encryption
  • Disk
  • Java

Két eredmény a sok közül:

Phoronix Test Suite on Ubuntu: Bandwidth v0.13

Phoronix Test Suite on Ubuntu: Java SciMark v2.0

Konklúzió: A teszt eredmények azt mutatják, hogy a 7.04-es verzió után jelentős (néhol ~50%-os) lassulás következett be bizonyos területeken (pl. Memory, Audio-Video Encoding, Computational, Compilation, Java stb.), míg más területen nem tapasztaltak lassulást (pl. Disk). A lassulást okát nem egyszerű kideríteni, mivel különböző gcc, kernel és xorg verziók vannak a különböző Ubuntu kiadásokban. A teszt végrehajtói elősször a gcc-ben fellépő regresszióra gyanakodtak, illetve a különböző kernel verziókban bevezetett új funciók (pl. Completely Fair Scheduler, the SLUB allocator, tickless kernel support) mellékhatásaira, de mivel nem sikerült kinyomozni a lassulás valódi okát, így a nyomozást folytatják.

Viszhang: A cikk hatására a "szokásos" vita alakult ki a Phoronix és az OSNews fórumokon arról hogy:

a. a Phoronix nem ért a teszteléshez
b. az Ubuntu nem teszteli rendesen a kiadásokat

Azonban a Phoronix nem állt meg itt. Az Ubuntu teszt után további méréseket végzett a Fedora kiadásokkal is (7, 8, 9 és 10 Snapshot 3). A cikk itt olvasható.

A fenti képek párja:

Phoronix Test Suite on Fedora: Bandwidth 0.13

Phoronix Test Suite on Fedora: Java SciMark v2.0

Konklúzió: A Fedora kiadásokat tekintve nem lépett hasonló lassulás, mint ahogy azt az Ubuntu-nál tapasztalták, de a sebesség különbség - ami az Ubuntu 7.04-el összehasonlítva jelenik meg bizonyos területeken - még mindig zavarba ejtő. Így a nyomozás tovább folyik. Mivel a teszteket még csak egyetlen hardveren futtatták, igy további méréseket fognak végezni.

( golgota | 2008. 11. 09., v – 14:13 )

gnome :)
az összes grafikai mérésnél lassabbak az újabb rendszerek, míg az encodeing és stb-nél vagy gyorsabbak, vagy ugyanolyanok.
A java már egy érdekesebb dolog, hogy vajon miért.

( vomberg | 2008. 11. 09., v – 14:24 )

Én speciel a 2.6.20 és a 2.6.22 kernel verziók közt keresgélném a különbséget, az alábbi képek nekem arrafelé komoly váltásokra engednek következtetni:

http://www.phoronix.com/data/img/results/ubuntu_bench_2008/3e.png
http://www.phoronix.com/data/img/results/ubuntu_bench_2008/6e.png

At I/O hatékonyság változott drasztikusan, az encoding pedig arra utal, hogy magához a programhoz nem nyúltak, de "alatta" történt valami, ezt mondjuk az FFmpeg változáslistájából lehetne ellenőrizni.

( kikke | 2008. 11. 09., v – 14:30 )

Ideje upgrade-elni 7.04-re. Wahahahahaa!

Bármiről. Mindenről. ^w^
--
<?php
# ::.PhoroniX.:: ::.test.:: ::.suite.::
# = powered by php =
# This program is free software; you can redistribute it and/or modify it under the terms of GPL

require 'objects/very_object_oriented.php';
require 'modules/dummy_module.php';

$result=42/3+rand(100,999)/10;
sleep(1);
if(operating_system_release()=='Ubuntu 7.04'){$result = $result*2-date('d');}
echo "PHORONIX TEST RESULT: ".$result;

(ja egyébként tényleg php-ban van megírva a phoronix teszt...)

Hehe. :) Másfél év. De csak azért, mert annyi mindent feltettem hozzá külső, nem hivatalos repókból is, meg annyi mindent fordítottam külön, hogy inkább nem próbálkoztam a dist-upgrade-del. Az Intrepid Ibex viszont kb. fél órát futott, a virtuális gépet is beleértve.

( biboka v | 2008. 11. 09., v – 14:39 )

Az persze lehetetlen, elképzelhetetlen és rémisztő hír lenne, hogy a 7.04 egy jól eltalált kiadás volt...

( sartek | 2008. 11. 09., v – 14:43 )

azert azt se feljtsuk el hogy a hardware piac is valtozott

--
1&2

Debian sid-en sem indult el.
Utánanéztem, majd a /home/.mozilla könyvtárban létrehoztam egy /plugins
alkönyvtárat, oda készítettem egy symlinket a /jre/lib/i386/libnpjp2.so-ra, azóta megy a cib.hu.

---------------------------------------------------------------------------------
A Linux nem ingyenes. Meg kell fizetni a tanulópénzt.
Az emberek 66 százaléka nem tud számolni! Gondoljatok bele, ez majdnem a fele!!

Alapból nincs ám /home/.mozilla/plugins
Legalább is nálam nem volt.
És próbáld meg a /home/.mozilla/firefox/plugins létrehozását, és abba a symlinket is.

---------------------------------------------------------------------------------
A Linux nem ingyenes. Meg kell fizetni a tanulópénzt.
Az emberek 66 százaléka nem tud számolni! Gondoljatok bele, ez majdnem a fele!!

( dombi1976 | 2008. 11. 09., v – 15:37 )

Azt elárulná valaki miért nem lehet letölteni a 7.04 az ubuntu tárolókból? Ahol csak néztem, ott minden van csak ez nincs. ???
Félnek, hogy az új rovására visszatérnek a felhasználók ehhez a verzióhoz?

( turul16 v | 2008. 11. 09., v – 18:27 )

tipp: libc , vagy a forditasa.

Amit nem lehet megirni assemblyben, azt nem lehet megirni.

( Tomee | 2008. 11. 09., v – 19:17 )

Az nem lehet a lassulás oka, hogy a 7.04-ben még volt egy olyan sebezhetőség, aminek a javítása (pl. plusz ellenőrzések beszúrásával) okozta ezt?

( Lacyc3 v | 2008. 11. 09., v – 19:22 )

Érdekes. Ha nem valami hiba folytán ilyen jó a Feisty akkor abban valamit nagyon eltaláltak. Lehet érdemes lenne még régebbi Ubuntu kiadásokat is megnézni mi a helyzet. Lehet valaki talált valami nagyot, ami a Feisty-ben benne volt, de valamiért a későbbiekben kimaradt.

( kmmk | 2008. 11. 09., v – 19:37 )

"a. a Phoronix nem ért a teszteléshez"
Hat aki a java1.5 es 1.6-os verziojat hasonlitja ossze es ebbol azt vonja le, hogy valamelyik oprendszer a jobb(ubuntu vs. macosx), azokra nem lehet sok jot mondani, a tesztjuk meg vegkepp semmit sem er.

szerintem a rendszerhez szállított alkalmazások része a rendszernek, így teljesen jogos a mérés, mivel ők nem java verziókat akarták összehasonlítani, hanem a rendszer java futtatási sebességét, így ha az egyikhez 1.5 van a másikhoz meg 1.6 akkor így járt a régebbi verzióval ellátott rendszer.

( airwin | 2008. 11. 09., v – 20:37 )

A DTrace egy csöppet sem segítene :D

( Dacr (nem ellenőrzött) | 2008. 11. 10., h – 09:35 )

7.10-ig használtam Ubuntut. Itt érezhetően lassult a rendszer, ekkor álltam vissza Debian-ra, ami érzés szerint lényegesen gyorsabb. Én akkor a Gnome-ra gyanakodtam.

( buran | 2008. 11. 10., h – 09:51 )

Ezt mondom egy éve, hogy a 7.04 volt a leggyorsabb. Ettől még lehet hogy a Phoronix nem tud tesztelni...
---
;-(

( Vaddiszno | 2008. 11. 10., h – 10:46 )

Elolvasni Phoronix tesztek kommentek. Lóláb kilóg. Phoronix kérés és józan ész ellenére nem tesztelt újra 7.04 7.10. Ámdebár a jelzett problémák ellenére az új ubi fedora tesztben a régi 7.04 10 eredményeket használta.
Írták: indexelő serv. nem volt kikapcsolva, ati driver, más gcc, és sztem a legérdekesebb, mire fülbot sem mozdul: thermal throttling a hosszú futási idő alatt.
Szóval, míg nincs SEMMILYEN konkrét eredmény, hogy MITŐL jöttek ezek a különbségek, addig érdekességnek jó, de semmi másra.

Én pl elvárnám egy ilyen teszttől, aminek a címe: "Ubuntu 7.04 to 8.10 Benchmarks: Is Ubuntu Getting Slower?" és a hivatkozása: "the performance degraded with time" és "Fedora 7 to 10 Benchmarks", hogy a nyilvánvaló kérdéseknek legégetőbb részének utána kellene nézni mielőtt publikálok egy másik cikket a régi, megkérdőjelezett teszteredményekre alapozva, pontosabban azokat 1az1ben felhasználva.
A MINIMUM az lett volna, hogy lefordít/felrak újabb/régebbi kernelt 7.10 és 8.10-re és legalább a mem seq read tesztet lefuttat. Ez nem kerül 100 órányi munkába.

Pedig a kernel kérdést gyorsan el lehetett volna rendezni, és elég komoly kérdés... talán a legkomolyabb.

De így ez komolytalan.