W nocy z wtorku na środę (9/10.03.2021) wybuchł pożar w serwerowni OVHCloud, w wyniku którego uszkodzone zostały dwa centra danych, co spowodowało bezpośrednio brak możliwości wysyłki notyfikacji, zbierania subskrybentów oraz całkowite wstrzymanie działania aplikacji PushPushGo.
Obecnie sytuacja została już opanowana i całkowite działanie aplikacji zostało w pełni przywrócone. Jako PushPushGo dołożyliśmy wszelkich starań, aby pomimo poważnej i nieprzewidzianej awarii, przywrócić możliwość działania tak szybko jak to tylko możliwe.
Dzięki wytężonej pracy naszego zespołu IT, udało nam się tego dokonać w czasie poniżej 24h, co jak widać po aktualnej sytuacji na rynku w związku z awarią, jest wynikiem nadspodziewanie dobrym.
Chciałbym bardzo podziękować wszystkim klientom za cierpliwość i wyrozumiałość w obliczu sytuacji w jakiej się znaleźliśmy. Państwa słowa wsparcia były dla nas nieocenione, dziękujemy.
Poniżej kilka najważniejszych wydarzeń z przebiegu wczorajszej awarii oraz odpowiedzi na najczęściej pojawiające się pytania.
Timeline
00:30
Pojawił się niegroźny incydent - otrzymaliśmy pierwsze powiadomienie od Page Duty - Wyłączonych zostało kilka serwerów. Nasi Administratorzy rozpoczęli pracę nad poprawą infrastruktury.
00:47
Pierwsza informacja o ogniu w SGB2 - zgodnie z informacjami opublikowanymi przez OVH. Wdrożenie planu awaryjnego.
04:10
Przestało działać 90% infrastruktury - (akcja gaśnicza) datacenter SGB1, SGB2, SGB3, SGB4, w których mieliśmy dużą część repozytoriów. Pozostałe datacenter nie zostały uszkodzone.
06:00 - 18:00
Pełne odtwarzanie infrastruktury oraz odzyskanie kodów źródłowych aplikacji, na co składało się przygotowanie oraz uruchomienie kopii bazy danych (żeby przyjąć ruch z pełnym obciążeniem),
Ok. 14:00 pierwszy update:
- Możliwość zalogowania do aplikacji,
- Wznowione zostało zbieranie subskrybentów,
- Nie przetwarzamy wysyłki (celowe działanie),
- Infrastruktura gotowa.
18:30
Przywróciliśmy wysyłki - uruchomienie senderów/requesterów.
FAQ
- Przez jaki okres nie zbierały się zapisy na notyfikacje/nowi subskrybenci?
Zapisy na notyfikacje nie były możliwe od 00:30 do 13:00
- Czy zaplanowane kampanie z wczoraj zostały wysłane?
Zgodnie z naszymi wczorajszymi komunikatami, żadna kampania zaplanowana pomiędzy 00:30 a 18:00 nie została wysłana.
- Czy utracone zostały jakiekolwiek dane?
Żadne dane historyczne odnośnie subskrybentów, wysyłek ani rozliczeń nie zostały utracone.
