Mire használja a Twitter a Bittorrent-et?

Szerszám

A Bittorrent-ről egyeseknek elsőre a warez ugrik be, pedig létezik olyan felhasználási területe, ami nem köthető ehhez a tevékenységhez. Nyílt forrású operációs rendszerek disztribútorai előszeretettel használják "termékeik" terjesztésére, de úgy fest, hogy nem csak erre lehet használni.

Az év elején megrendezett CUSEC konferencián beszélt a Twitter infrastruktúramérnöke, Larry Gadea arról, hogy hogyan fogták munkába a Twitter-nél a Bittorrent-et arra, hogy az adatközponton belül nagyszámú szervertelepítést/frissítést végezzenek. A Twitter több ezer szervert használ. Korábban az összes szerver egy darab git szerverhez kapcsolódott s ebből látszik, hogy hol volt a rendszer szűk keresztmetszete. A Bittorrent-alapú deployment rendszerrel - amelynek része a házon belül fejlesztett, nyílt forrású (Apache 2 licenc) Murder - sikerült a Twitter-nek jelentősen felgyorsítani a telepítési időt. A régi git megoldással 900, a Bittorrent-alapú rendszerrel pedig csak 12 másodpercre volt szükség a telepítéshez. A gyorsulás 75-szörös. Az alábbi videón látható Larry Gadea előadása.

Twitter - Murder Bittorrent Deploy System from Larry Gadea on Vimeo.

A clonezilla jó tantermi vagy labor telepítésekhez, vagy, ha adott feladatra készül imagét akarsz letolni. Amire nem jó, az az, amire itt szerintem használják: intelligens provisioning. Különböző virtuális rendszerekhez van mindenféle management eszköz. Inkább azokhoz lehetne hasonlítani. Kis (50-100 gép) környezetben viszont verhetetlen a CloneZilla, ha a gépek hasonló feladatot végeznek vagy 2-3 csoportra lehet osztani a feladatköröket.

Én írtam rá egy shell scriptet. Az összes (gigabites hálókártyával megáldott) gép egyszerre kb 40-50MB/s-el tudta fogadni az image-et. A merevlemez + fájlrendszer volt a szűk keresztmetszet, szárazon mértem ~80MB/s-et is.

Csak sajnos voltak a laborban 100mbit-es gépek is, és persze gyakorlatban sosem fordult elő olyan, hogy azokra ne kellett volna teríteni. Így (on the fly lzo tömörítéssel kipótolva) 10-17MB/s volt a max.
---
Internet Memetikai Tanszék

( current88 | 2010. 12. 25., szo – 09:40 )

Akkor ez most azt jelenti h gyorsabb lesz a twitter? Már nem tudom hova gyorsulhatna... Vagy azt h gyorsabb a szerverek telepítése?

( anr | 2010. 12. 25., szo – 09:45 )

a facebook ~700M-as frissitest tolt le 10000 szerverre ~1 perc alatt bittorenttel.

--
Live free, or I f'ing kill you.

Mondd iwiw es huzd le a vizet. Nem is tudom miert kinozom magam ekkora baromsaggal. Eddig is csak akkor leptem be, ha valaki bejelolt ismerosnek, de most mikor par uzenetet kaptam Karacsony alkalmaval, lehetlen belepni es megnezni ki mit kuldott. Valaszolni meg epphongynem mazo kellene legyek.

--
FeZo

iwiw kezdolapjan: "Igen, jó helyen jársz

Sőt még jobb helyen, mint eddig. Még
több kép, még több alkalmazás, még
több barát."

Meg tobb bardat? :O WTF? "Vettem egy uj telefont, de ezen is csak ugyanazok a gyokerek hivnak"

En amugy mar toroltem magam, mindossze egy read-only userem van alnevvel, tok mas ismerosokkel, mint akiket valojaban ismerek (ez hosszu) :D

( zsoltt | 2010. 12. 28., k – 18:25 )

Szeretném megérteni, miért jó az egy Twitterhez hasonló nagy cégnek, hogy fejleszt valamit, majd közkinccsé teszi, felszabadítja a forrását? Egy nagyobb projekt esetén még csak-csak értem, hogy más cégeket bevonva jobban halad a saját fejlesztése, de amit egymaga meg tud oldani, annál végképp nem értem.
Nyilván a konkurencia is ugyanígy használhatja ezekután.
Kétlem hogy a motiváció az, hogy szeretne jófejnek tűnni, mert pár geeken kívül senkit nem érdekel az ilyesmi.
Ötletek?

Jó kérdés, én se tudom, de azért egy ötletem van: reklám. Minél érdekesebb dolgot sikerül alkotni, annál nagyobb lesz a hírverés körülötte, annál többet forog a cég neve, ami a kód mögött van.

Egyébként ez szerintem arra is hasonlít, amikor te teszed közzé a saját házibarkács projected kódját. Azért nem mindegy, hogy milyen visszajelzéseket kapsz, pedig mondhatod, hogy csak jófejségből tetted közzé és nem érdekelnek a vélemények. Mert minél több és jobb visszajelzést kapsz, annál büszkébb lehetsz magadra illetve a művedre, és annál ismertebb lesz a neved, ez pedig jó érzés, és adott esetben pénzt is hozhat (pl. állásajánlat formájában).

--
Don't be an Ubuntard!