London hőség, cloud off

Tue, 19 Jul 2022 15:41:59 UTC - "Current Status: As a result of unseasonal temperatures in the region, a subset of cooling infrastructure within the UK South (London) Data Centre experienced an issue. This led to a subset of our service infrastructure needed to be powered down to prevent uncontrolled hardware failures. This step has been taken with the intention of limiting the potential for any long term impact to our customers."

A megszokottnál melegebb időjárás miatt a klíma meghibásodott, ezért az infrastruktúra egy részét le kellett kapcsolni hogy további meghibásodásokat megelőzzük. Ezt az intézkedést azért hoztuk, hogy ügyfeleinket megvédjük a hosszútávú negatív hatástól. - írja az Oracle status page, archív itt.

Incident began at 2022-07-19 10:13 and ended at 2022-07-19 20:45 (all times are US/Pacific). - Cooling related failure in one of our buildings that hosts zone europe-west2-a for region europe-west2.

A hűtőrendszer meghibásodása EU WEST-2 zónában, írja a Google. Itt azért már elszállt pár disk is ahogy látom, mert az IO error és a merevlemezek kiemelve hogy hát igen kérem, itt valami történt.

Angol nyelven a The Register cikke itt olvasható.

July 10 Starting at 10:25 AM PDT, some EC2 instances and EBS volumes were impaired in a single Availability Zone (euw2-az1) in the EU-WEST-2 Region. The issue was caused by a thermal event, which caused some of instances to lose power and some EBS volumes to experience degraded IO performance. Recovery started at 12:01 PM PDT and by 12:12 PM PDT, the vast majority of EC2 instances and EBS volumes had fully recovered. Other AWS services also experienced impact during the event, including API Gateway, Elastic Load Balancing, Database Migration Service, Transit Gateway, CloudFront, Connect, ElastiCache, Elastic Container Service, Elastic File System, Elastic Kubernetes Service, Elastic MapReduce, OpenSearch, Redshift, and Relational Database Service. These services are all now operating normally. There are a small number of EC2 instances and EBS volumes that were hosted on hardware that has been affected by the loss of power during the thermal event. For these EC2 instances and EBS volumes, we will be opening Personal Health Dashboard notices to track recovery. The issue has been resolved and the service is operating normally. - Még az elején az AWS bedobta a törölközőt.

Az AWS Well Architected doksiba kell csak belenézni ahol ilyen eset kivédésére van a multi-AZ, ahol a területen egy-egy szerverterem kiesésére fel kell készülni.
Agyalhatunk azon hogy kinek is a felelőssége ez, és hát ez pont a szolgáltatóé.

Tudtommal a Google és más szolgáltatók egyre feljebb tolják a hőmérsékletet a szervertermekben, így várható volt hogy előbb utóbb megtalálják azt a pontot ahol már nem lehet játszizni a klímával.

Mivel a Google cloud csúnyán elbukott a megbízhatósági teszten és az utolsó poszt szerint még mindig volt pár hibás diszk, ezért a sztorinak mé koránt sincs vége.

Remélem lesz audit meg minden és rendesen felkészítik a szutyok szervertermeiket a kor elvárásainak megfelelően. Egyik ilyen elvárás hogy nyáron meleg van, még ott is ahol nem szokott - bár már volt máskor is Londonban 35+ szóval erre a kifogásra pont nem vagyok kíváncsi.

Nem tudom miért maradt ki a buliból az AWS (Jul 10 annyira nem számít, nem akkor volt a melegrekord) meg az Azure, gondolom majd legközelebb azok döglenek meg ha nem figyelnek oda.