Lekönyökölt a Netflix streaming rendszere a Jake Paul vs. Mike Tyson mérkőzés alatt

Lehet hogy sok szakerto van aki sajat bevallasa szerint kisujjból kiráz egy ilyen rendszert, de a szaktudas mar sokkal kevesebb van. Nem akarok megbantani senkit, egyszeruen limitalt a megszerezheto gyakorlat. Limitalt hogy hany ceg foglalkozik magyarorszagon ilyesmivel. Olyan nincs hogy on demand skalazodik a vegtelenbe es tovabb ... Es nem csak technikai okai lehetnek. Felhuzni exrta infrat csak ezert az egy esemeny miatt, meg ha nem is fizikai infra volt, lehet hogy egy manager kiszamolta azt mondta eddig es nem tovabb, es az eddig keves lett. Nem hiszem hogy a Netflix ne tudna barmilyen adott meretu infrat felhuzni es megfelelo SLA-vel uzemeltetni. Itt vagy a forgalom becsles volt helytelen vagy a penz nem volt eleg.

>akkor mi lehetett a probléma?

A Netflix nem a Hupról veszi fel a dolgozóit. Simple as.

Kiváncsi lennék a számokra, hogy hány egyidejű néző volt (lett volna). Nem volt még nagyobb live streaming esemény, ami gond nélkül lement? El tudom képzelni, hogy nem a Netflix volt a hunyó, hanem a hálózat nem bírta a terhelést. Ha mondjuk egy szolgáltatónak a routerei telítődnek és amiatt nem működik a streaming, akkor azzal a Netflix semmit nem tud csinálni (a jelenleg divatos technológiák mellett).

Ha belegondoltok az élő események streamingjét meg lehetne oldani úgy is, hogy a hálózat minden csomópontjához 1db stream megy, és a hálózati elem osztja szét mindenkinek ugyanazt. Így biztosan működött volna, csak hát a privacy miatt mindenkinek közvetlenül a Netflix szervereihez kell csatlakozni (https protokollon), és így a forgalom megsokszorozódik mind a szervereken, mint a hálózaton. Ki kellene dolgozni egy szabványt erre is, hogy a hálózati szolgáltatónál lehessen végződtetni az SSL-t például.

És mi lett a vége a küzdelemnek? (Nem, nem fogom megnézni, annyira nem érdekel.)

Netflix skálázódik max X-re, és most a leterheltség nagyobb volt mint X?

Magyar szerverek _nem_ skálázódnak, ezért ha nagyobb terhelés van rögtön letérdel?

A magyar állami informatika még ott tart, hogy basszunk alá egy combos szervert és majd az elbírja (tapasztalat). Ha nem, akkor túlterheléses támadás.

Netflix majd megosztja az RCA-t pár napon belül. A legközelebbi konferencián esélyes h. lesz netflix engineer-től YT-on megnézhető előadás a témában.

Valóban szomorú, h. ezt a tudást autodidakta módon egyszerűen nem lehet felszedni sehogy máshogy. Ha ehhez tényleg érteni akarsz, muszáj vagy valahogy bejutni egy google, netflix, meta-hoz, amazonhoz v. mikroszofthoz, h. ilyen nagyságrendű infrával képbe kerülj. Aztán eltölteni 10-15 évet, miközben jutsz feljebb a ranglétrán, mert alsó szintű üzemeltető droidként sosem lesz lehetőség látni a nagy egészet. Ez nem az a játszótér, h. max. előfizetsz egy havi 10 dolláros VPS-re amin ki tudod tesztelni.

Ugyanitt jelentkezhetnek az atomerőmű üzemeltetésben jártasak, a Burj Khalifa méretű épületeket megépíteni képes emberkék, és még millió más terület top 1 ezrelék expertjei.

Nincsen itt semmi látnivaló, a gond az volt, hogy nem nem offline, hanem online tartalom.

A netflix és hasonló szolgáltatók a tartalmalmakat a ISP-khez letolt szerverekről szolgálják ki, éjjel letöltik a filmeket és igazából, ott helyben nézi a helyi ügyfél. Live streamnél ilyen lehetőség nincsen. Így a sávszélesség igény, globálisan is többszöröse a megszokottnak ...

<Lassan írok :)

Logikusan gondolkodva, de csak egészen általánosságban: a Netflix egy on-demand szolgáltatás, ami teljesen más tészta, mint a live streaming. A Netflix technológiailag az on-demand-ra van kihegyezve, ezért is tesznek le minden ISP-hez egy (több?) Netflix szervert, hogy a tévénézők minél közelebbről tölthessék le a filmeket (amiket ott helyben a Netflix szerverein tárolnak). A live streamingnél erre hiába játszol... nyilván a Netflix szerver live streamingnél is hihetetlen előny, mert ugye a közvetítő szervernek csak annyi klienst kell kezelni, ahány Netflix szerver van. De ettől függetlenül nem ez az, amit mindig is csináltak eddig, tehát bárhol elcsúszhattak a banánhéjon.

Most megnéztem a downdetector-on, már a meccs előtt kezdődtek a problémák: https://downdetector.com/status/netflix/ lehet, hogy nem is (csak) a live streaming volt a probléma, hanem több egymástól független dolog játszhatott be és a meccs csak rátett egy lapáttal. Nem lehetett könnyű estéje a technikai csapatnak --- ha adnak ki RCA-t biztos érdekes lesz.
 

Ja, hát streamelni szeretnénk a fél világnak, de a global multicast-ot még továbbra sem valósítottuk meg.

Pedig az ilyen helyzetekben nem kevés sávszélességet lehetne megtakarítani. Persze addig, amíg mindenki élőben nézi, és egyszer sem állítja meg a felvételt, bár éppenséggel ezt is meg lehetne oldani némi kompromisszumokkal a kliens oldalon.

Elmérték az igényeket, nem skálázták fel időben és előre annyira az infrastruktúrát, amennyien végül kíváncsiak voltak rá: 120 milliónál több néző esett be végül, a 280 milliós ügyfélkör több mint harmada, majdnem fele. Összehasonlításul, az Olimpia live stream esetén 30 millió néző volt a maximum a több hetes esemény alatt és ott nem voltak ilyen rövid és ilyen hirtelen felfutások. Hirtelen beeső nem várt terhelést egyszerűen nem tudsz kiszolgálni, ha nem tudod előre felmérni a várható terhelést, akkor az össze fog omlani, legyenek ott a legjobb szakemberek és a legjobb rendszerek, a resource pool ott kell legyen előre.

Amit letettek az asztalra, az több mint amit eddig bárki tudott, összevetésül, az X/Twitter Spaces például 500-600 ezer nézőtől összeomlott idén nyáron többször is és abban nem volt videó, csak hang, a YouTube stream maximum nézőszáma 8 millió volt eddig, a legnagyobb Twitch nézőszám 3,8 millió volt.

Nekik beesett 120 millió és 120 millióig röccenés nélkül fel tudták felskálázni, utána jöttek a bajok, valószínűleg erre a számra terveztek, mint worst case scenario, hogy ennyi úgy se lesz. Lett.

Nem lehet, hogy csak elfelejtették letekerni a ChaosMonkey-t, az meg túltolta? :-)