OVH SBG2 datacenter porig égett

Hálózatok általános

Érintett valakit?

https://twitter.com/olesovhcom/status/1369478732247932929

  • 1483 megtekintés

( _Franko_ v | 2021. 03. 10., sze – 14:26 )

Nálam volt ott Cassandra node, mentés nélkül, de simán átvészelte a geo-cluster, kézzel létrehoztam új VPS-t, a Puppet újrahúzta őket másik DC-ben és megy az adat-migráció.

Egyelőre úgy néz ki, hogy akinek nem volt mentése, annak vélhetően elvesztek az adatok.

https://iotguru.cloud

( uzsolt v | 2021. 03. 10., sze – 14:33 )

MikroVPS néhány tárhelye érintett. Szerencsére a honlap generált html, a "forrás" máshol van.

( nsandoragy | 2021. 03. 10., sze – 16:06 )

Azt olvastam, hogy más OVH DC-ben emergency ticket-ek keretében elkezdtek cserélni tápkábeleket szigetelési hiba miatt és sokan azt spekulálják, hogy ez kaphatott lángra itt. Gondolom valami mid-manager éves bónusza múlt azon, hogy spóroljon 20k-t azzal hogy olcsóbbra cserélje ezeket minden DC-ben és ez lett az eredménye :)

Nem mintha védeni akarnám az OVH-t, de úgy látom twitter-en leginkább olyanok picsognak akik azt hiszik cloud = HA és mivel nem volt semmi backup stratégiájuk, most hetekig sz0pn1 fognak mire valamelyik fejlesztő helyi git clonejából visszaállitanak valamit... Legalább lehet majd idézni ezt az eseteg ügyfeleknek, akik azt mondják nem kell twin-core mer` drága és egy egész DC úgyse pusztul el sose....

ha megvetted a fullos backupot meg mindenféle HA-t, akkor is baszhattad, mert az ovh manage panelje is letérdelt, failover ip-ket nem lehet átrakni máshova, a tőlük vett backupot (ami elvileg teljesen más DC) nem lehet elérni, stb.

Csere szervert sem adnak (üreset se), kb azt tudod, hogy veszel egy másikat.

Web, Domain, Tárhely

Jo hat annakidejen az AWS-nel is voltak ilyen malorok. Nem lehet mindenre IS gondolni. Illetve lehet csak elobb kell hozza egy ilyen katasztrofa. Olyan ez mint a repules. Lezuhan egy gep vizsgalodnak rajonnek, hogy bizonyos csillagallas eseten szopo van. Kikuszobolik a hibat aztan majd valami masmiatt maskor ugyanugy lezuhan...

Nem a georedundáns cucc állt meg, hanem az ovh admin panelja, ahol kezelheted. délelőtt semmi nem ment, vagy timeout, vagy 5xx vagy too many connection hibák (volt ami siman nginx hiba volt). ip failover migráció természetesen beragadt a picsába, 6 óra körül értem el valakit aki tudott benne segíteni. most 21 óra van lassan, ott vagyok, hogy most legalább nincs lockolva az ip (hogy van rajta muvelet), megprobalom mozgatni. aztán megint vagy megy vagy nem.

status page alapján egy csomo saját szolgáltatásuk is ebben a dc-ben ment.

Web, Domain, Tárhely

nem tudok ide belépni, : Invalid Account ID or password

https://www.ovh.com/manager/dedicated ami nekem van. bár gondolom nem a frontend ami alapból megpusztult, hanem a backend része (50e szerver tulaja szabadult rá egyszerre), mert ami nem dedikált szerveres dolog az ment.

Web, Domain, Tárhely

Nem mintha védeni akarnám az OVH-t, de úgy látom twitter-en leginkább olyanok picsognak akik azt hiszik cloud = HA és mivel nem volt semmi backup stratégiájuk, most hetekig sz0pn1 fognak mire valamelyik fejlesztő helyi git clonejából visszaállitanak valamit

Azt láttam pl. hogy volt egy lány, aki azt írta, hogy csóró főiskolásként nem volt pénze backupra, és most pótolhatatlan személyes adatok vesztek el.

Szar ügy. Nekem is sikerült ilyen adatokat elveszteni kb. 20 évvel ezelőtt. Az ember tanul az ilyesmiből.

disclaimer: ha valamit beidéztem és alá írtam valamit, akkor a válaszom a beidézett szövegre vonatkozik és nem mindenféle más, random dolgokra.

Azt láttam pl. hogy volt egy lány, aki azt írta, hogy csóró főiskolásként nem volt pénze backupra, és most pótolhatatlan személyes adatok vesztek el.

Ne már, hogy nem volt annyi helye, hogy akár a telefonján tároljon fontos és pótolhatatlan adatokról másolatot, másrészt meg:

  • Backup storage replicated x3: $0.0112/month/GB

Ez egy 100 GB instance esetén 1,12 dollár havonta. Ha nincs ~350 forintnyi pénze havonta a pótolhatatlan személyes adataira, akkor azok nem fontos adatok. Ha meg jóval több, mint 100 GB, akkor válogassa ki azokat, amelyek valóban pótolhatlan fontos adatok.

Szar ügy. Nekem is sikerült ilyen adatokat elveszteni kb. 20 évvel ezelőtt. Az ember tanul az ilyesmiből.

Áh, vannak, akik nem tanulnak ebből se.

https://iotguru.cloud

Az szép. Ettől még ott tartunk, hogy "nem volt pénze backupra", ha bármi történik a cuccával, akkor ugyanott van, 100 GB felhős storage is csak ~2 dollár havonta...

Ráadásul egy backup nem backup, főleg, ha ugyanott van, mert ilyen esetben nem segít.

https://iotguru.cloud

A mikrovépéeséknél mintha ez lenne a helyzet... FB-on írta valaki: "Ezúton tájékoztatunk, hogy legfrissebb információink szerint a cPanel NVMe 10GB - xxxxxxxxx.hu tárhelyedet tartalmazó és a biztonsági mentéseinket tároló szerverünk is abban az egységben (SBG1 és SBG2) volt, amely teljesen kiégett, így szinte bizonyosan a tűz martalékává vált."

Itt azért kérdés az is, hogy az ovh egyáltalán tájékoztat - e arról, hogy milyen távolságra van egymástól a két DC - mert itt ~0 volt... Pl az aruba esetén lehet találni térképet, talán helyszinrajzot is...

Hetznernel be is mehetsz megtekinteni. És azok is olcsojanosok... 

Error: nmcli terminated by signal Félbeszakítás (2)

és ez kiderülne

Bar Magyarorszagon ennek hiret sem hallottam, de fogyasztovedelmi szempontbol mashonnet sem igazan, hogy az IT szolgaltatasokat valamelyik hatosag ellenorizne. Eleg kicsi az eselye annak, hogy ezek egy -a temainditohoz hasonlo- problema nelkul kiderulnenek. Sajnos az ilyen esetek mindig -es egyre- szkeptikusabba tesznek.

Error: nmcli terminated by signal Félbeszakítás (2)

Hát, most éppen 16804 nyitott pozíció van az Amazonnál, csak AWS témakörben. Auditorcégek rá szoktak nézni, nagy ügyfeleknek gyakran nagyobb rálátást ígérnek ezek a cégek, stb.

Persze hit kérdése, de szerintem ekkora nyilvánosság mellett bármikor kibukhatna egy ilyen, én nem kockáztatnék.

( dotnetlinux | 2021. 03. 10., sze – 18:59 )

Offtopic: van kép is, durva. A tűzfal pont tűz ellen nem véd?

( wladek1 | 2021. 03. 11., cs – 12:10 )

Szerkesztve: 2021. 03. 11., cs – 12:11

A fizikai kiszolgalokat felhobe migraltak, lesz biztos valami fasza video a folyamatrol a hwsw -n.

Error: nmcli terminated by signal Félbeszakítás (2)

( csardij v | 2021. 03. 12., p – 09:51 )

Van egy új video: https://www.ovh.com/fr/images/sbg/index-en.html

Ha jól értem a lényegeket:

  • Ők teljes mértékben úgy kommunikálták (és még most is), hogy az adott SBG1, 2, stb az különálló datacenter - ez úgy tűnik egyáltalán nem igaz, ha más nem nincs ezeknek külön internet, áram ellátása
  • A saját backupjaikat is úgy tárolták, hogy másik dc-ben legyen. De ez lehet, hogy ugyanaz a telephely, csak másik épület, így van esély, hogy független dc-ben tárolt backup is elégett (ami ugye akár egy fizetős szolgáltatás volt)
  • Összeharácsolták az egész bagázst franciából és dolgoznak ezerrel
  • úgy néz ki, hogy a kialakított openairflow környezet is nagyban hozzájárult, hogy az sbg2 így leégett, totálisan szar a koncepció (arra tudok gondolni, hogy kívülről keletkezett a tűz olyan helyen ahol megy be a levegő és behúzta mint egy kémény?)
  • nem tudni, hogy itt indult e, de két UPS is égett mikor odaértek a tűzoltók - az egyik ups-en aznap reggel volt karbantartás!

ha jól értem ezek a lényegi részek

Web, Domain, Tárhely

A Linus Tech Tips saját kis telephelye évekkel ezelőtt úgy égett ki, hogy az UPS-nél keletkezett a tűz. Később kiderült, hogy valami nagyobb vezeték rosszul volt az UPS-ben rögzítve. Mármint a saru szakszerűtlenül volt bekötve és korrodálódás is befigyelt. Az UPS-es fickó szerint azért a bekötésért telepítéskor az UPS forgalmazója felel, amikor üzembe helyezi.

A dologról még az jutott eszembe, hogy hallottam már olyan tűzről, ami akkor keletkezett, amikor áramszünet volt egy bányász telephelyen. A hirtelen megszűnő hűtés miatt lángra kapott egy bányász gép. Mondjuk az OVH-t nem gondolom bányász telephelynek, de mégis eszembe jutott.

"Jegyezze fel a vádhoz - utasította Metcalf őrnagy a tizedest, aki tudott gyorsírni. - Tiszteletlenül beszélt a feljebbvalójával, amikor nem pofázott közbe."

( tibyke | 2021. 03. 13., szo – 10:42 )

Dear Customer,

Following the fire on 10 March in our Strasbourg (SBG) datacentre, VPS services were affected.

Your VPS below can not be put back into service.

xxxxxxx.ovh.net 
 

We will retroactively provide the service free of charge, for an equivalent of 6 times the amount of your February 2021 invoice for this service.