Fórumok
Üdv!
Vasárnap hajnalban erősáramú berendezéseket ellenőrzött/karbantartott az Invitel az Ilka utcai szerverteremben. Úgy tűnik, nem sikerült jól. Érintett valakit eme karbantartás? Szeretnék tapasztalatokat cserélni.
Hozzászólások
Nem t'om, hogy ezzel kapcsolatos-e, de a 32-es körzetben se telefon nem volt, se net tegnap reggel. Valamikor délelőtt lett jó állítólag. (Secondhand infó. :))
Igen... bár még nem tudom miért, de a szerverünk állt. Telefon a supportnak, rádugtak monitort, reset majd elindult. Logok szerint ment, leállt, majd ismét elindult, cirka jó pár órával később. :(
Kösz! Tehát, másképpen fogalmazva: hajnal 4-kor felkapcsolták az áramhálózatot, majd - értelmezésem szerint - Nálatok is az volt, hogy a szerver leállt, újraindult, majd ismét ugyanez. Jól értem, hogy a hajnal 4 órás karbantartást követő pár órán belül történt eme nem igazán rendeltetés-szerű jelenség? A logok megvannak még?
Van még valaki, aki ilyesmit tapasztalt?
Az én logjaim szerint 4 -kor lekapcsolták, majd cirka 40 perc elteltével fel.
Mi "mindössze" értesitőt nem kaptunk.
Hajnal 2-kor kellett volna lekapcsolják, és - legkésőbb - 4-kor fel.
No, akkor küldöm én helyettük az értesítést, de nem kell megijedni, mert kétféle dátum, kétféle időponttal van megjelölve, tehát a karbantartás az redundáns volt, de az áramellátás nagyon úgy tűnik immáron hármunk esetében, hogy nem, ráadásul hajnali 4 után állt elő a 10 év szerverhoszting tapasztalat, de akkor kőkeményen.
Ímhol a lényeg:
2009. 04. 14.-i keltezésű levelük:
Tisztelt Partnerünk!
Az Ilkai utcai erősáramú rendszer karbantartása miatt a Szerver Hosting szolgáltatásuk az alábbi időpontban nem fog üzemelni.
Karbantartás kezdete: 2009.04.26 02:00 óra
Karbantartás vége: 2009.04.26 04:00 óra
Várható kiesési idő: 2 óra
Előre is köszönjük szíves türelmüket és megértésüket!
----------------
Egy korábbi értesítőben (2009. 04. 03.) pedig ez volt olvasható:
Tisztelt Partnerünk!
Tájékoztatjuk, hogy üzemfenntartási munkák miatt 2009.04.16-án 02:00 – 06:00 óra között
(ÁSZF szerinti ablakidőben), 4 órás szolgáltatás kiesés várható, amelyben a következő áramkör érintett.
Szóval, karbantartottak 16-án fantom módon, mert akkor semmi sem történt, aztán megint karbantartottak 26-án, de akkor úgy, hogy bootolás közben párszor elvették az áramot a szerverek alól. Az értesítőt két különböző címről küldték (azonos kiszolgálóról: a.relay.invitel.net (a.relay.invitel.net [62.77.203.3]), egyikről sem érkezett válasz pár kérdésre, például arra, hogy mi a jó franc tart 4 óráig, másodjára pedig ugyezen kérdés 2 órás változata lett feléjük címezve, kiegészítve azzal, hogy ugyan árulják már el, hogy pontosan mit csinálnak üzemfenntartási munkák címszó alatt...
Még valaki érintett?
Valami ilyesmi. 13 után lett újraindítva a jószág, utána működött rendeltetésszerűen.
Mi kint voltunk végig, mert ha úgyis leállunk, akkor elvégeztünk némi karbantartást is meg ~40 szerver vissza kapcsolása sem mindegy milyen sorrendben történik. Ez az 1-es teremben volt ahol hajnal 2-től tartott a karbantartás 4-ig.
2 előtt 15 perccel a villanyászok már felsorakoztak az ajtó előtt majd 1:55-kor elkezdtek bepakolni.
Először a B oldali rendszert állították le, majd egy idő múlva vissza kapcsolták és jött az A oldal. Ezek után jött a gépészet. 3:30-3:45 körül visszakapcsoltak mindent és mi is elkezdtük az újraindítást. Ezután semmi probléma nem volt. 3:45 körül elkezdték a felsorakozást ugyanúgy a másik földszinti terem (azt hiszem az a 3-as) előtt a villanyászok és gondolom 4-kor elkezdték ott is a mókát...
Nekünk semmi problémánk nem volt a vissza kapcsolás után.
-Mr-
2 általam adminolt szerver van az Ilka utcában. Mindkettő 2:10 körül filmszakadással állt le, az egyik syslog-jában még látni, hogy "eth0 link down", aztán semmi.
Újraindult 4:20-kor, kapott egy reboot-ot konzolról, 4:35-ig ment, majd megint filmszakadás, 4:45-kor újraindult. Ez alapján úgy tűnik, kétszer volt az általuk levélben említett "szabályos leállításon" kívüli lehasalás... Ez nálunk két gépet érintett, mindkét logja időpontra egybe vág, mondjuk egymás mellett vannak.
Szép történet volt, ráadásul mi olyan levelet kaptunk, ahol március (!) 26-a volt megjelölve dátumnak.
Inviteltől többet várnék. IMHO.
Nem költözött véletlenül a szerveretek?
Mert az 1-es teremből jó pár gépet átpakoltak a 3-as terembe a leállás alatt.
A 3-as termet meg 4-kor kezdték karbantartani.
-Mr-
Ezt csak ők tudják, mi nem. :( Rackes teremben vagyunk. Bár ott volt korábban salgó is, meg rack is.
Egyébként még volt egy olyan sztori is február környékén, hogy ikszedikén, adott időpontig menjünk be, mert átköltözik a gépünk. Akkor költözhettek el a salgósok.
Amikor bementem (hétköznap reggel 6:30-ra), kiderült, hogy "ja, a tietek rack-kes gép, akkor azok nem költöznek"... pffffffff....
A "salgón" csak pár darab gép maradt, de ha jól értettem vittek a rack szekrényekből is át gépeket, azt nem tudom hogy unitosakat vagy állókat, mert nem figyeltünk oda, elvoltunk foglalva a saját gépeinkel.
-Mr-
"Egyébként még volt egy olyan sztori is február környékén, hogy ikszedikén, adott időpontig menjünk be, mert átköltözik a gépünk."
Én ezt úgy tudom (fültanúja is voltam), hogy az operátorok folyamatosan cseszegették az ügyfeleiket, hogy menjenek be és segítsenek átpakolni a salgora rakott gépeket. Vagy legalább távolról állítsák le. Ehez képest áprilisban még néhány 10db mindíg ott sorakozott a salgon az 1-es teremben. Amikor jött a karbantartás, akkor az otthagyott gépeket átvitték az 2-esbe.
Dettó ugyanez: 2 gép hasalt le, az egyik fájrendszer-hibára futott rá. 4 óra után történt a balhé, telón csak annyit mondtak, hogy a kapcsolóberendezésekkel voltak gondjaik - amúgy 1,5 óra kellett összességében, hogy reagáljanak a kérésre, s tegyenek is valamit.
Ilka 1-ről van szó egyébként, a rackszerveres teremről, Ilka 2 a salgópolcos. Ott kezdődött ezek szerint 4 után a móka...
Nos, akkor már van 2 hamis időpontmegjelölés, s nem csak mi álmodunk csúnya rosszat, hogy le-felkapcsolgatták az áramot.
A poén az egészben az, hogy előtte pár nappal hívtak meg a parasztvakítós Dataneum-megnyitóra, ahol volt füstölt nyúltól kezdve lazacon át, szabadulóművész szájtátódjá' UV-mátrix-fílinggel áthatva minden, D. Tóth Kriszta házigazdával megspékelve. Öltönyös, mosolygós bizniszmenek hadoválták a frankót a csúcsszuper technológiáról, meg 10 éves profizmusról, oszt tessék, rá pár napra David Merlini frankón elvarázsolta az áramot, meg a szakértelmet is, ha volt ilyen egyáltalán (tisztelet annak a néhány embernek, aki tett is eleddig valamit, ért is valamihez). Előtte meg jót varázsolt össze-vissza tájékoztató levelekből.
Csak a vicc kedvéért...
Irtam nekik levelet, vasárnap de., megkérdezve, hogy mi a pics* történt az iccaka (persze ennél diplomatikusabban :)
A következő -de mentésgükre szóljon legalább 1 apróság, nagyon gyors választ kaptam:
"Szervertermünkben a ma kora hajnali órákban karbantartást végeztek technikusaink, az erről szóló kiértesítőt 20-án küldték ki kollégáink.
Ennek meneteként a kint lévő technikusok először lekapcsolták a gépeket, megelőzendő a komolyabb károsodást, majd a karbantartás befejeztével meggyőződtek arról, hogy mindegyik gép rendben bekapcsolt."
Aha... Megelőzendő...
Pont múltkor példáloztam a kis hostingolónknak, ahol a másik gépünk van, hogy milyen profi az invitel data center... Kár volt, azt hiszem szólok is neki, hogy mennyire nem volt igazam :D
20-án? Akkor újabb kiküldési dátum is képbe jött... :D Ezek szerint az Invitel csak úgy elkezdte lekapcsolgatni a gépeket? Önmagában nem gond, csak hát egyik értesítőjükben sem szerepelt, hogy ők az áramon kívül szervereket is kapcsolgatni fognak...
Ok, nem tudtam hogy a lenti új termet nevezik Ilka2-nek, azt hittem az emeleten lévő terem az, mert az előbb elkészült, bár ha jól emlékszem azt cakk-pakk egy bérlő lakja.
-Mr-
Tárgy: tájékoztatás üzemfenntartási munkáról
Dátum: Sun, 22 Mar 2009 15:25:06 +0100 (CET)
Feladó: NetInfo@invitel.co.hu
Tájékoztatjuk, hogy 2009.03.26-án 02:00 és 06:00 óra között üzemfenntartási munkák miatt, legfeljebb 4 órás szolgáltatás kiesés várható, amelyben az Ilka utcában lévő Szerver Hosting szolgáltatása is érintett.
:) csak hogy legyen még egy dátum
Amúgy vicces amit dannyboi írt, hogy neki azt írták "majd a karbantartás befejeztével meggyőződtek arról, hogy mindegyik gép rendben bekapcsolt."
Ez nálam kb. úgy zajlott, hogy 2 körül ébredek az smsekre, hogy host is down... Gondoltam egymás alatt lévő gépek ilka utcában Invitel megint alkot, amúgy is csak fejlesztői/teszt gépek ráér reggel is. 7-kor azért felkeltem felhívtam a szervertermet, és nem tudták megmondani, hogy mi van a gépemmel. Közölték, hogy most kapcsolgatják még be őket pár perc és mennie kell a gépeimnek. Mint később kiderült munkatársam tőlem függetlenül beszélt a hivatalos supportjukkal is ahol kellemes női hang közölte, hogy ilyen esetekben a gépek újbóli elindítását az ügyfélnek kell kérnie! Ezen azért egy kicsit leakadtam...
Összefoglalva, nem küldenek értesítőt, illetve rosszab rossz értesítést küldenek. Kirántják az áramot, esetemben tovább tartott a leállás is, és még én kérjem meg őket, hogy kapcsolják be újra ezt azért ne engedhessék már meg maguknak, még ha nálam nem is okozott pronlémát a fejlesztés/teszt üzem miatt.
Ja, igen, ez a NetInfo@ nekünk is megjött. Nos, akkor már van házunk táján 3 értesítés, háromféle időponttal... Üzleti hibabejelentőről: vasárnap újraindítást kér az egyik rendszergazda, 1U-s gépről van szó. Megadja a gép nevét (az Invitel-cimkén olvashatót), IP-címét, erre fel a mi tűzfalszerverünket indítják újra, ami ÁLLÓGÉP, s totál más neve van, ráadásul 1 polccal feljebb van, mint az 1U-s rackszerver. Hosztingosok elnézést kérnek, de rossz gépnevet kaptak Budaörsről...
Mi már előre lekapcsoljuk a gépet, ha kapunk egyáltalán előtte értesítést.
Az esetek többségében csak a gép logjából veszem észre, hogy újra lett indítva. Rosszabb esetben ha nem indult el valami szolgáltatás.
Szerintetek normális, hogy nem képesek küldeni egy köremailt h 'b* meg, áramkimaradás volt' ha már úgyis megvan nekik a kontakt személyek címlistája?
Mi is úgy vettük észre (vasárnap de. 10-kor nem igazán néztem mailt, munint, ssh-t), hogy nem ment a levelezés, mert a második mysql motor (amiből postfix is táplálkozik) nem indult el, mert annak idején elfelejtettem rc.d-be linkelni... De hál'stennek ennyi volt az összes gixer.
Gyanítom pusztán annyi áll az ügy hátterében, hogy elsunnyogják a karbantartásokat. Ha nincs széjjelkürtölve, nincs írásos nyoma, lehet hivatkozni rá nálunk milyen jó is a rendelkezésre állás. Ha pedig a gép gazdája észre sem veszi, mert a gép probléma nélkül újraindul, nem fog nekiállni kötözködni.
Nekem minden gépem levelet küld bootkor... nem normális, hogy esetleg nem tudok arról, hogy elkaszálták a gépemet.
Üdv!
2009. április 29-én bátorkodtam az erősáramú karbantartás okozta történeteket egy hivatalos levélben számonkérni, s mily csoda, majd 3 hónap után meg is szülték a választ (nekem kellett érte könyörögni egyébként), szeretnék belőle pár mondatot idézni:
2.) Társaságunk minden előfizetőt, így az Önök cégét is, előzetesen és írásban értesítette arról, hogy Társaságunk 2009. április 26-án (vasárnap) rendszeres karbantartást végez 02:00 órától 04.00 óráig. Ebben kértünk partnereinket a szervergépeik lekapcsolására. Ennek – ellentétben az Ön által képviselt céggel – a legtöbb ügyfelünk eleget tett, ezért őket adatvesztés nem érte.
Olyan jól sikerült az értesítés, hogy három, egymásnak teljesen ellentmondó időpontról küldtek értesítést, ám egyikben sem szerepelt semmilyen kérés a szerverek lekapcsolására. Arra persze nem adtak választ, hogy miért küldték össze-vissza az értesítést, és miért nem válaszoltak kérdéseimre. Szerettem volna megtudni, hogy pontosan mi történik.
3.) A karbantartást követően az áramellátás tekintetében semmilyen hiba nem állt elő.
Nos, teccik-e érteni? Egy rossz álom volt dannyboi esete is, meg a miénk is. Minden a legnagyobb rendben volt.
Végül levelük legfinomabb része, kéretik figyelmes lenni, rossz kisfiúk:
Társaságunk álláspontja szerint az Ön által a tervezett üzemszünettel kapcsolatba hozott szerverleállás nem áll okozati összefüggésben azokkal a végfelhasználói panaszokkal, melyeket leveléhez csatolt. Semmivel sem magyarázható például az 52 órán túli leállás, különös tekintettel arra, hogy Önök – felhívásunk ellenére – elmulasztották a szerverek lekapcsolását, azaz az adatvesztés kizárólag saját magatartásukkal hozható összefüggésbe. ...Társaságunk a biztonság kedvéért a teljes időtartamra kérte a gépek leállítását, éppen azért, mert nem ritka, hogy az ügyfelek nem megfelelően kötik be a gépeiket.
A drága Invitel Zrt. nevelési tanácsadás keretében megállapítja, hogy rossz volt eme fórum-hozzászólók "magatartása", a miénkkel együtt. Ezen kívül idióták vagyunk, mert nem kapcsoltuk le "kérésükre" a biztonság kedvéért a gépeket, amúgy meg nem megfelelően kötjük be a gépeket: nem végeztünk szaktanfolyamot egy tápkábel 220 voltos konnektorba való bedugása tekintetében, és egy UTP-kábeles összeköttetés is Mensa-tagságot igényel...
A levelet Szepesváry Péter Adatközpont manager úr látta el kézjegyével, így, kedves barátaim, az Invitel már nem csak szerver-hosztingban profi jó 10 éve, hanem pszichológiai tudományokban - magatartás-kutatásban - is jeleskedik...
Hát izé. Nem akarom az IW-t fényezni, de ott is volt áramos karbantartás és nem vettük észre. (Értesítő levél jött, hogy ekkor és ekkor és hogy mi lesz, de a tartalék körre átállnak és kész.) Az IW-s szerződésben emlékeim szerint a klímára és az áramra 100%-os uptime-ot garantálnak, bár most nem rémlik, hogy a havi 1 órás tervezett leállás ami egyéb cuccokra vonatkozik, hogy viszonyul ehhez a szerződésben. Minden esetre viccess lenne akár csak 3 havonta is 1500-2000 gépet 1 órára stoppolni és indítani. :)
(Tudom volt az IW-nek sokéve egy hírhedt áramos problémája, amit speciel mi szerencsésen pár perc down-al megúsztunk, de utána erős kéztördelések közepette kértek elnézést, meg aki erősködött annak a kötbért is jóváírták ahogy hallottam.)
Legalább ők elismerték az áram-problémát. Itt viszont arról van szó, hogy a hoszting-operátorok, és az üzleti hibajelentő is szóban elismerte, hogy gondjaik voltak az áramellátás visszakapcsolásával, erre fel rá 3 hónapra már hivatalos válaszként azt írták, hogy semmilyen probléma nem volt, és bizony ők mindenkit kiértesítettek, kérvén a szerverek lekapcsolását. Eme posztok alapján összesen négyféle, egymásnak ellentmondó értesítésről van szó, csak mi három levelet kaptunk, s egyikben sem szerepel, hogy milyen teendőink vannak. Vannak, akik nem kaptak semmiféle értesítést, s olvasható az is, hogy az Invitel hosztingosai leállítgatták a gépeket. No már most engedtessék meg feltenni ama kérdést, hogy ha ez valóban így történt, akkor ki hatalmazta fel őket arra, hogy kézileg lekapcsolják a szervereket? Egy rendeltetés-szerű, rutin karbantartást lazán kibír a szerver, amikor is EGYSZER áram lekapcsol, majd 2 óra múlva EGYSZER felkapcsolják. De az már durva, hogy a karbantartást követően többször áramkimaradás van bootolás közben. Ugyan ez szakszerű üzemeltetésnek minősül?
Szerintem erre gondolt a bácsi, amikor azt írta, hogy "az ügyfelek nem megfelelően kötik be a gépeiket". Nem emlékszem, hogy van-e olyan kitétel, hogy a gépek áramkimaradás után ne induljanak el maguktól, hanem maradjanak állva, hogy majd a hostingosok sorban bekapcsolgathassák őket.
Persze a miénket nem kapcsolták vissza. Szóval sehogyse stimmel.
Hát izé, az invitelnél nagy karbantartás volt, azaz még a kismegszakitókat is kicserélték; meg a kábeleket is vlgig tesztelték, a csavarokat meghúzták stb. Én ott voltam a saját szekrényeket vezetékeztem át ekkor, és elképzelni sem tudom hogy hogyan lehetett volna áramszünet nélkül kicserélni a megszakitókat.
Mi pont az IW-től hoztuk az Ilkaába a gépeket, mert egy idegen gép leégése miatt a mi szekrényünkben is elment az áram. Nekem nincs nagy véleményem sem a VH IW-ről sem a HA-s IW termekről. Mióta az Ilkában vagyunk ez az 1 tervezett leállás volt, és előtte sem meg utána sem volt semmi gondunk.
Tény, hogy nagygenerált nem lehet másképp, de hogy ennyire nagygenerál volt azt nem tudtam. Az IW talán valamilyen betáp körüli dolgot szerelt akkor.
A gépenkénti/konnektoronkénti kismegszakítót én is hiányolom IW-nél, de még nem volt ebből gondunk és remélem nem is lesz. Ez rackes vagy polcos gép volt? A polcokon eléggé érdekes a gépállomány néha.
Nekünk x2200 volt hosztingolva salgo polcon, mert nem tudtak helyet adni akkor szekrényben :D Amikor leégett egy tápegység (még füstölt is) egy szomszéd gépen, akkor elment az áram az egész polcon.
Most látom szekrényt írtam fent, pedig polcon volt a gép.
Mi tuti nem kaptunk értesítést, mert akkor még nem voltunk ügyfeleik. Pár nappal a beköltözés után térdelt le a gépünk, és a beköltözés során szerzett tapasztalatok alapján azonnal elhoztuk a gépet onnét (én személy szerint egy vaskockát nem bíznék rájuk).
Szóval a szép az, hogy az - egyébként rendes - hostingosok nem szóltak nekünk, az új ügyfélnek, hogy ugye tuggyuk hogy nem lesz delej? Amit egyébként jól is tettek, mert ha meghallom, hogy azért, mert ők karbantartanak, le kell kapcsolnom a gépemet, akkor viszem egyből máshová, olyan helyre, ahol valamivel fejlettebb az áramellátás.
Viszont a mikrós netjük az jó, azt szeretem :)
Pedig már egy hónappal a karbantartás előtt elkezdték kiküldözgetni a levelet az első tervezett időpontról. Aztán amikor kiderült hogy elhalasztják pár héttel a kivitelező miatt a karbantartás akkor küldtek egy második emailt is.
Lekapcsoltuk a gépeket, sőt egyben csináltunk egy saját karbantartást is (sokan mások is) és gond nélkül el is indítottuk a gépeket ismét.
Aki tovább akarja vinni eme ügyet, s károsultja volt az Invitel "szakszerű" karbantartásának, küldjön már nekem egy privát üzenetet - a részleteket megbeszélnénk.