Videó: előadás a Google mögött álló gépezetről

 ( trey | 2008. január 1., kedd - 15:15 )

Szinte majdnem hihetetlen az, ahogy a világ legnagyobb internetes keresője dolgozik: az ember begépel egy keresőszót a Google-be és mire lenyomja az Enter billentyűt, a keresésre adott választ már ki is köpte a kereső. Hogy az átlagban 0.25 másodperc alatt végbemenő keresésben éppen több mint 1 000 számítógép vesz részt, abból az átlagember mit sem sejt.
Több mint 4 milliárd webes dokumentum, 880 milló kép, több mint 35 millió nem-HTML dokumentum, 800 millió üzenet az Usenet 35 ezer hírecsoportjából... Ennyi adatból kell releváns találatot produkálni a másodperc töredéke alatt.

A Google ezeket az adatokat közönséges számítógépekkel állítja elő. Hogy miért? Mert egy high-end, 8 utas, 64 GB RAM-mal és 8 TB diszkkapacitással rendelkező IBM xSeries szerver árának (758 000 USD) harmadáért (278 000 USD) 88 darab szervert tud összeállítani, amelyekben összesen 176 processzor, 176 GB RAM (3x több) és kb. annyi lemezterület (~ 7TB) van. Egyharmad árért huszonkétszer több processzor, háromszor több RAM és körülbelül ugyanannyi diszk. Nem rossz.

Persze van ennek hátulütője is. Ha valakinek több ezer gépe van, az számolhat azzal, hogy közülük naponta meghibásodik egy. Ezt a problémát meg kell oldania a cégnek. A hardverhibából származó problémákat szoftveresen oldja meg. A jelszó: replikáció és redundancia.

A majd' egy órás videóból sok-sok technikai részlet tudható meg arról, hogy mitől működik a világ legnagyobb keresője.

A videó itt:
mms://videosrv6.cs.washington.edu/talks/Colloquia/JDean_041021_OnDemand_100_256K_320x240.wmv

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

király!

Elég drágák azok a gépek...

Hmm, a lélegzetem is elállt. Gigantikus számok, gigantikus számlák :D

hogyan lehetne lementeni a videót? ha valamikor utazok, akkor elnézegetném, csak akkor nincsen netem :(

---------
"Ha igazat mondasz azt végig unják, ha feldíszíted azt jól meg dugják"
szerény blogom -- új címen!

Nekem ezt írja ki: Stream not seekable! Mi lehet a gond?

Semmi. Várj :) Le fog jönni.

Petya

Stream not seekable!
Everything done. Thank you for downloading a media file containing proprietary a
nd patented technology.
Core dumped ;)

Exiting... (End of file)

:)

Tényleg letöltötte... Nekem úgy tűnt, hogy nem csinál semmit, de ezek szerint mégis dolgozott a háttérben. :) Köszönöm a segítséget!

Semmi. Stream-eknél ez letöltéskor azért elég logikus. Aztán amikor lejött, akkor már seek-elhető lesz.

És akkor a windows media player miért tud benne (és úgy általában az mms://blablabla.wmv streamekben) mégis seekelni? OK, hogy nem letöltéskor, hanem nézéskor, de az mplayer nézéskor sem tud, nem csak letöltéskor nem.

Én vlc-vel is bele tudok tekerni.

OK, most fordul :)

??? Erdekes, nekem tud :)

Nekem azt írta ki az mplayer, mikor egy jobbra-nyíllal megkínáltam, hogy "Nem tudok ebben a fájlban tekerni!".

Te hogy csinálod? :)

cd /tmp
mplayer mms://videosrv6.cs.washington.edu/talks/Colloquia/JDean_041021_OnDemand_100_256K_320x240.wmv &
<vársz egy darabot>
mplayer stream.dump -idx

?

--
trey @ gépház

Jó ez a -dumpstream+-idx kombó, de ha pl. a végébe szeretnék csak belenézni, azt nem oldja meg, mert akkor előbb le kell tölteni az egészet, és aztán lehet odatekerni, nem?

Igen, ez így van, de nekem ez még nagy problémát nem okozott sosem, mert ritkán nézek filmet hátulról előrefele. :)

--
trey @ gépház

LOL :)

Szerintem más sem. :)

Na de nem is erről van szó.

Az már nem vicces, hogy az mplayer megállapítja egy streamről, hogy "Stream not seekable", miközben az a stream _nagyon_is_seekable. :(

(Pl. ha a win media playerben megnyitom ezt az URL-t, és kapásból a 58 percéből a. 56.-ra seekelek, akkor prompt elkezdni onnét játszani, nem szükséges, hogy előtte levadássza az egész filmet a vinyóra.)

jol mondja az mplayer: maga a stream nem seekable. ellemben az mms protocolban lehetoseg ugralni: ha neked a 56.perctol kezdve kell a video, akkor mmsben le lehet kerni az 56. perctol a streamen. na ezt az mplayer nemtudja, wmp igen.

ha mar megvan az egesz fajl akkor mar sima fopen/fread muveletek vannak, igy szinten van ugrasi lehetoseg.

--
A vegtelen ciklus is vegeter egyszer, csak kelloen eros hardver kell hozza!

Egyszeruen megnyomom a jobba/balra nyilat ide/oda es teker ide/oda :) Igaz en svn devel verziot hasznaltam mindig is, miota fejlesztettem is anno.

Mivel nincs meg az egesz fajl nem tudsz benne keresni. -idx kapcsoloval ha inditod, akkor lehet hogy jo lesz.

mplayer -dumpstream

vlc


linux v2.6.22.14 + madwifi v0.9.3.3-mal itt
debian gnu/linux @ linux-2.6.22.15-pancs1

mimms

Nem volna kedve valakinek angol feliratot csinalni hozza hallas alapjan? Az en szovegertesem sajnos sehol sincs. :(

Ők (MIT CSAIL) csinálhatnának.

+1

Aztán faterom meg csodálkozott, hogy nem talál meg semmit a BGF honlapján... pedig még a honlapon lévő keresőt is használta :)

Úgy érzem ennél meggyőzőbb bizonyíték nem is kell, hogy lássuk, hogy az OpenMosix-ra, vagy hasonló megoldásokra a továbbiakban is szükség lenne.