Videó: előadás a Google mögött álló gépezetről

Internet, Közösségi média

Szinte majdnem hihetetlen az, ahogy a világ legnagyobb internetes keresője dolgozik: az ember begépel egy keresőszót a Google-be és mire lenyomja az Enter billentyűt, a keresésre adott választ már ki is köpte a kereső. Hogy az átlagban 0.25 másodperc alatt végbemenő keresésben éppen több mint 1 000 számítógép vesz részt, abból az átlagember mit sem sejt.
Több mint 4 milliárd webes dokumentum, 880 milló kép, több mint 35 millió nem-HTML dokumentum, 800 millió üzenet az Usenet 35 ezer hírecsoportjából... Ennyi adatból kell releváns találatot produkálni a másodperc töredéke alatt.

A Google ezeket az adatokat közönséges számítógépekkel állítja elő. Hogy miért? Mert egy high-end, 8 utas, 64 GB RAM-mal és 8 TB diszkkapacitással rendelkező IBM xSeries szerver árának (758 000 USD) harmadáért (278 000 USD) 88 darab szervert tud összeállítani, amelyekben összesen 176 processzor, 176 GB RAM (3x több) és kb. annyi lemezterület (~ 7TB) van. Egyharmad árért huszonkétszer több processzor, háromszor több RAM és körülbelül ugyanannyi diszk. Nem rossz.

Persze van ennek hátulütője is. Ha valakinek több ezer gépe van, az számolhat azzal, hogy közülük naponta meghibásodik egy. Ezt a problémát meg kell oldania a cégnek. A hardverhibából származó problémákat szoftveresen oldja meg. A jelszó: replikáció és redundancia.

A majd' egy órás videóból sok-sok technikai részlet tudható meg arról, hogy mitől működik a világ legnagyobb keresője.

A videó itt:
mms://videosrv6.cs.washington.edu/talks/Colloquia/JDean_041021_OnDemand_100_256K_320x240.wmv

( uTibor | 2008. 01. 01., k – 15:47 )

Hmm, a lélegzetem is elállt. Gigantikus számok, gigantikus számlák :D

( Yorirou | 2008. 01. 01., k – 15:49 )

hogyan lehetne lementeni a videót? ha valamikor utazok, akkor elnézegetném, csak akkor nincsen netem :(

---------
"Ha igazat mondasz azt végig unják, ha feldíszíted azt jól meg dugják"
szerény blogom -- új címen!

Szerintem más sem. :)

Na de nem is erről van szó.

Az már nem vicces, hogy az mplayer megállapítja egy streamről, hogy "Stream not seekable", miközben az a stream _nagyon_is_seekable. :(

(Pl. ha a win media playerben megnyitom ezt az URL-t, és kapásból a 58 percéből a. 56.-ra seekelek, akkor prompt elkezdni onnét játszani, nem szükséges, hogy előtte levadássza az egész filmet a vinyóra.)

jol mondja az mplayer: maga a stream nem seekable. ellemben az mms protocolban lehetoseg ugralni: ha neked a 56.perctol kezdve kell a video, akkor mmsben le lehet kerni az 56. perctol a streamen. na ezt az mplayer nemtudja, wmp igen.

ha mar megvan az egesz fajl akkor mar sima fopen/fread muveletek vannak, igy szinten van ugrasi lehetoseg.

--
A vegtelen ciklus is vegeter egyszer, csak kelloen eros hardver kell hozza!

( LiRul | 2008. 01. 01., k – 18:53 )

Nem volna kedve valakinek angol feliratot csinalni hozza hallas alapjan? Az en szovegertesem sajnos sehol sincs. :(

( nagybal | 2008. 01. 02., sze – 11:33 )

Aztán faterom meg csodálkozott, hogy nem talál meg semmit a BGF honlapján... pedig még a honlapon lévő keresőt is használta :)

( imi84 | 2008. 01. 04., p – 11:01 )

Úgy érzem ennél meggyőzőbb bizonyíték nem is kell, hogy lássuk, hogy az OpenMosix-ra, vagy hasonló megoldásokra a továbbiakban is szükség lenne.