Több mint 20 petabyte adatot dolgoz fel a Google nap mint nap

Hihetetlen számok olvashatók abban a dokumentumban, amelyet a Google alkalmazásában álló Jeffrey Dean és Sanjay Ghemawat írt és amelyet az ACM publikált a napokban. A dokumentum szerint a keresőóriás a cluster node-jain elosztva futó kb. 100 000 MapReduce job-on keresztül naponta több mint 20 petabyte adatot dolgoz fel. Mindezt közönséges gépekkel. E cikk szerint a Google 2 GHz-es dual-Xeon gépekkel (HyperThreading bekapcsolva) dolgozik, amelyek 4 GB memóriát, 2 darab 160 GB-os IDE merevlemezt és gigabit csatolót tartalmaznak.

Hozzászólások

"Programmers find the system easy to use: more than ten thousand distinct MapReduce programs have been implemented internally at Google over the past four years, and an average of one hundred thousand MapReduce jobs are executed on Google’s clusters every day, processing a total of more than twenty petabytes of data per day."

--
trey @ gépház

Egyik cimboram, aki felvetelizett hozzajuk kapott egy levelet egy HR-estol (elotte pont azzal viccelodtunk, hogy milyen szepen epul a Skynet).
Na hogy hivtak a noszemelyt? Sarah (O')Connor :D

--
B+ - http://pozor.hu

Vajon mennyibe került az 1800 gépből álló cluster?

Nekem óránként dolgoz fel ennyit a laptopom... ;P