Atak na centra danych Yandexu to lekcja dla każdej firmy w chmurze

Uszkodzenie trzech obiektów jednego dostawcy wystarczyło, by w Rosji przestało działać ponad 80 usług, od wyszukiwarki po bankowość. Wojna to skrajny scenariusz, ale awaria przebiega podobnie przy pożarze czy rozległym braku prądu, więc dotyczy każdej firmy w chmurze.

Trzy obiekty, dziesiątki usług

Między 8 a 11 października ukraińskie drony uderzyły w trzy centra danych Yandexu. To jedna z największych rosyjskich firm internetowych, jej wyszukiwarka ma około 70 proc. rynku w Rosji. Obiekty w Sasowie (obwód riazański) i we Włodzimierzu przestały działać całkowicie. Uszkodzone zostało też centrum w Kałudze, jedno z największych w kraju, o mocy 63 MW i z ponad 3800 szafami serwerowymi. Według lokalnych władz w Kałudze rannych zostało dziewięć osób.

Skutki szybko wyszły poza budynki. Problemy miało ponad 80 usług Yandexu, a serwis Tom's Hardware, na który powołuje się Spider's Web, doliczył się co najmniej 84. Zawiodły wyszukiwarka, przewozy osób, dostawy jedzenia, handel elektroniczny, płatności, poczta, mapy i platforma chmurowa Yandex Cloud. Downdetector zarejestrował 8 października ponad 1300 zgłoszeń dotyczących Yandex Cloud oraz biurowych Yandex Documents i Yandex Tables. Kłopoty miały też m.in. Koleje Rosyjskie, operator MegaFon, T-Bank i serwis ogłoszeniowy Avito. Zakłócenia odnotowano nawet w Kazachstanie.

Uderzenia były odpowiedzią na rosyjską kampanię przeciw ukraińskim centrom danych i sieciom telekomunikacyjnym. Od końca września Rosja uszkodziła infrastrukturę co najmniej ośmiu ukraińskich firm, a jeden z ataków odciął internet około 100 tys. gospodarstw domowych w Kijowie. Dla firm spoza strefy konfliktu ważniejszy od kontekstu wojennego jest jednak sam przebieg awarii. Pożar, powódź czy długi brak prądu uruchamiają ten sam łańcuch skutków.

Centralizacja była zaletą, dopóki nie stała się słabym punktem

Yandex przez lata budował wygodny ekosystem: jedna firma, jedno konto, dziesiątki usług na wspólnej infrastrukturze skupionej w kilku dużych węzłach. Rosyjski bloger wojskowy piszący jako Ratio Militaris, którego wpisy przetłumaczył badacz ChrisO_wiki, a przytoczył serwis Ars Technica, ocenił, że właśnie ta hipercentralizacja, rynkowa i techniczna, zamieniła przewagę Yandexu w słabe ogniwo.

Przeciwnym przykładem jest Ukraina. Jej usługi cyfrowe opierają się na mniejszych, rozproszonych centrach danych. Część sprzętu przeniesiono pod ziemię lub za granicę, a AWS (chmura Amazona) przechowuje ponad 15 petabajtów danych z ponad 60 ukraińskich instytucji rządowych. Według rosyjskiego blogera Artjockey, również tłumaczonego przez ChrisO_wiki, rosyjskim firmom podobny ruch utrudnia m.in. ustawa o „suwerennym internecie” z 2019 roku.

Dla firmy, która nigdy nie będzie celem drona, wniosek jest prosty. Skupienie infrastruktury obniża koszty i upraszcza zarządzanie, ale sprawia, że jedno zdarzenie fizyczne uderza we wszystko naraz.

Lekcja z Bahrajnu: kilka stref to nie zawsze dość

Dla klientów zachodnich chmur bardziej pouczający jest przypadek AWS. 2 marca drony uszkodziły dwie z trzech stref dostępności regionu AWS w Zjednoczonych Emiratach Arabskich (ZEA) oraz obiekt w Bahrajnie. Strefa dostępności to jedno lub kilka fizycznie odrębnych centrów danych w obrębie jednego regionu chmury. Rozkładanie systemów na kilka stref (tzw. multi-AZ) to standardowe zabezpieczenie przed awarią sprzętu czy zasilania.

We wrześniu, prawie pół roku po atakach, AWS przyznał, że nie odzyska zasobów przechowywanych wyłącznie w regionie Bahrajnu ani wyłącznie w strefie mec1-az2 w ZEA. Według firmy uszkodzenia „przekroczyły wytrzymałość przewidzianą dla usług regionalnych oraz rozwiązań typu multi-AZ”. AWS zachęca klientów do odtwarzania systemów z kopii przechowywanych poza dotkniętym regionem. Kto takich kopii nie miał, stracił do swoich danych dostęp.

Odbudowa trwa miesiącami, nie godzinami

Yandex nie podał terminu przywrócenia obiektów. Zalecił klientom uruchomienie własnych procedur odtwarzania po awarii (disaster recovery), zaproponował serwery zastępcze i porozumiał się z trzema rosyjskimi dostawcami chmury: Selectel, K2Cloud i VK Cloud. Mają oni pomóc w przenoszeniu danych i usług klientów.

Nieoficjalne szacunki czasu odbudowy różnią się, bo dotyczą różnych rzeczy. Rozmówca dziennika „Kommiersant” mówi o nawet sześciu miesiącach na wymianę sprzętu. Eksperci cytowani przez ITwiz szacują, że odbudowa pełnych mocy obliczeniowych dla AI może potrwać nawet do 2028 roku, bo sankcje blokują oficjalny zakup układów Nvidia. Budowa nowego centrum danych od podstaw to wydatek rzędu 6-7 mld rubli.

Dla klienta wynika z tego jedno. Plan awaryjny, który zakłada powrót dostawcy po kilku godzinach, nie obejmuje najpoważniejszych scenariuszy. A rada, by uruchomić własne procedury odtwarzania, pomaga tylko tym, którzy je mają i przetestowali.

Pytania do dostawcy chmury i SaaS

Większość firm nie utrzymuje własnych serwerów, tylko kupuje oprogramowanie w modelu SaaS (usługi w subskrypcji, dostępne przez przeglądarkę). Tym bardziej trzeba wiedzieć, co stoi pod spodem. Przy odnowieniu umowy albo przeglądzie ryzyka zadajmy dostawcy kilka pytań:

• W jakich regionach i strefach są przechowywane nasze dane i czy kopie trafiają poza region?
• W jakim czasie i do jakiego momentu przywrócicie dane po utracie całego regionu?
• Kiedy ostatnio testowaliście odtwarzanie i z jakim wynikiem?
• Czy możemy w każdej chwili wyeksportować dane w otwartym formacie?
• Na czyjej infrastrukturze działa usługa i co się stanie, gdy zawiedzie ten poddostawca?
• Które funkcje działają offline albo w trybie awaryjnym?

Te same pytania menedżer powinien zadać we własnej firmie: które procesy staną, jeśli jedna usługa zniknie na tydzień, i czy kopia kluczowych danych istnieje poza tym samym dostawcą.

Odporność kosztuje, więc trzeba ją policzyć

Nie wynika z tego, że każda firma musi od razu rozkładać systemy na kilku dostawców (multi-cloud). Deloitte zwraca uwagę, że część organizacji po analizie świadomie zostaje przy jednym dostawcy, bo złożoność kilku środowisk niesie własne ryzyka. Doradcy rekomendują za to wiedzę o tym, gdzie leży koncentracja, rozumienie zależności między usługami i regularne testy planów odtwarzania.

W sektorze finansowym to już obowiązek. Unijne rozporządzenie DORA (Digital Operational Resilience Act, o operacyjnej odporności cyfrowej sektora finansowego), stosowane od 17 stycznia 2025 roku, wymaga od instytucji finansowych oceny ryzyka koncentracji u dostawców ICT (technologii informacyjno-komunikacyjnych). Dla pozostałych firm to dobry wzorzec.

Rozsądne minimum to kopia krytycznych danych poza regionem głównego dostawcy, przetestowana procedura odtwarzania i spisana lista procesów, które muszą działać nawet bez chmury. Taki zestaw kosztuje mniej niż tydzień przestoju i przydaje się także wtedy, gdy przyczyną awarii jest zwykły brak prądu, a nie dron.