Google: 1 petabyte adat rendezése 6 óra alatt 4 000 node-on

Címkék

A Google bejelentette, hogy megdöntötte az adatrendezés egyik eddigi rekordját. Az eddigi standard 1 terabyte-os adatrendezési rekordot egy 910 node-os Yahoo! cluster tartotta eddig, amely az Apache Hadoop (korábbi cikkünk) segítségével rendezett 1 terabyte-nyi adatot 209 másodperc alatt.

A Google most arról számolt be blogjában, hogy az általa fejlesztett és széles körben használt MapReduce segítségével egy 1 000 node-os clusteren 68 másodperc alatt képes Google File System-en tárolt 1 TB-nyi adat rendezésére.

A keresőóriásnak 1 PB-nyi adat rendezéséhez 6 órára és két percre van szüksége 4 000 számítógépen.

A részletek itt olvashatók.

Hozzászólások

4000 gép... pfff...
végtelen mezők:)

Majd a sarkkörökön húzzák fel a szerverfarmot.

Ennyicske adatot fejben pár másodperc alatt sorbarendezek... :)

Ez az agyban lévő információtárolásra alkalmasnak ítélt egységek számát tekintve mennyiben befolyásol?
Természetesen ijesztő egyszercsak azt állítani, hogy "igen, már a mervelemezemnek is jobb a memóriája, mint nekem", de valahogy ha valamilyen számadatot túl sokszor korrigálnak, a legfrissebbet is hajlamosak vagyunk megbízhatatlannak gondolni hosszútávon. (spl azt sem hiszem, hogy sokáig marad a jelenlegi irányadó kamatyláb:D)

—-—-—
int getRandomNumber() {
	return 4;//szabályos kockadobással választva.
}		//garantáltan véletlenszerű. xkcd