תקלת חשמל במרכז נתונים של Google Cloud בלונדון השביתה בנקים ושירותים בבריטניה
אירוע חשמל באזור europe-west2-b של Google Cloud השבית ל-6 שעות עשרות שירותי ענן, ואיתם אפליקציות של בנקים וחברות משלוחים. הדוח של Google מסביר למה הגנרטורים לא עלו, ומה כל עסק בענן צריך ללמוד מזה.
TL;DR בקצרה
- ב-20 באוקטובר, בסביבות 09:00 שעון ישראל, אירוע חשמל השבית את אזור הזמינות europe-west2-b של Google Cloud בלונדון.
- התקלה נמשכה כשש שעות ופגעה ב-39 מוצרים, בהם Compute Engine, Cloud SQL ו-Kubernetes Engine.
- לפי The Register, בין הנפגעים היו Lloyds, HSBC, Royal Mail, BT ו-Revolut.
- לפי הדוח של Google, בקרי המתקן לא הפעילו את הגנרטורים, והסוללות התרוקנו.
אירוע חשמל באזור europe-west2-b של Google Cloud בלונדון השבית ב-20 באוקטובר עשרות שירותי ענן לכשש שעות. התקלה התחילה בסביבות 09:00 שעון ישראל. היא פגעה בשירותים של בנקים, חברות משלוחים וספקיות תקשורת בבריטניה. לפי Google, הבעיה נפתרה אצל רוב הלקוחות באותו יום אחר הצהריים.
מה קרה באזור europe-west2 בלונדון
באזור הענן של Google בלונדון, europe-west2, יש שלושה אזורי זמינות (zones). אלה מרכזי נתונים עצמאיים, שאמורים לגבות זה את זה. האירוע פגע ב-europe-west2-b. לפי דף הסטטוס של Google Cloud, הוא השפיע על 39 מוצרים. ביניהם Compute Engine, Cloud SQL, Kubernetes Engine, Cloud Run, BigQuery ו-Cloud Storage.
גם שני האזורים האחרים לא יצאו נקיים. לפי Google, גם בהם היו עומסים שנפלו. הסיבות: גל ביקוש פתאומי, ותלות בין האזורים במערכות הניהול. במהלך התקלה החברה המליצה ללקוחות להעביר עומסים לאזור אחר, אם אפשר. גם אחרי ההתאוששות, Google הזהירה שיצירת משאבים חדשים עלולה להיכשל.
לפי The Register, השיבושים הגיעו ל-Lloyds Bank, HSBC, Royal Mail, Rightmove, DPD, BT, Screwfix ו-Revolut. המרצה עמרו אל-סעיד אחמד מאוניברסיטת Keele מכנה זאת ״אפקט התלות״. כשרכיב אחד בענן נופל, הוא גורר איתו אפליקציות, ממשקים, מערכות הזדהות ותשלומים שתלויים בו.
למה הגנרטורים לא עלו באזור europe-west2
בדוח המלא, מ-27 באוקטובר, Google מתארת שרשרת כשלים. תקלה בכבל תת-קרקעי מחוץ למתקן ניתקה את קו החשמל הראשי. את הקו השני החברה ניתקה לתיקון, אחרי בדיקת גנרטורים ב-14 באוקטובר. כך המתקן עבד על קו אחד בלבד.
בקרי המתקן (PLC), שאמורים להפעיל את הגנרטורים, לא זיהו את הנפילה. החיישנים שלהם ישבו על נקודה שעדיין הראתה מתח. לכן הם לא שלחו פקודת הפעלה. הסוללות של מערכות האל-פסק (UPS) התרוקנו, והשרתים, האחסון וציוד הרשת כבו.
Google מתכננת לבדוק את הקוד של הבקרים ואת ההגדרות במתקנים דומים בעולם עד 15 בנובמבר. היא גם הקפיאה עבודות תחזוקה באתרים עם מבנה דומה. בנוסף, החברה רוצה לקצר את הזמן עד שהלקוחות מקבלים עדכון.
מה עסק על Google Cloud צריך ללמוד מהתקלה
הלקח המרכזי פשוט: מעבר לענן לא מבטיח זמינות. לדברי אחמד, ״חוסן לא מושג רק מהמעבר לענן״. מערכת שרצה על אזור זמינות אחד נופלת יחד איתו. ושימו לב, גם ספקי SaaS שאתם תלויים בהם יושבים על תשתית כזו.
זה נכון גם לעסק קטן. אם האתר או החנות שלכם רצים בענן, שאלו את המפתח או את חברת האחסון באיזה אזור הם יושבים. שאלו גם מה יקרה אם אזור הזמינות הזה ייפול לכמה שעות, ומי יודיע לכם על כך.
מה זה אומר עבורכם
- בדקו איפה אתם רצים: מפו את האזור ואת אזור הזמינות של השרתים, מסדי הנתונים והאחסון. ספרו כמה מהם תלויים באזור זמינות יחיד.
- פזרו בין אזורי זמינות: לשירותים קריטיים, השתמשו באפשרויות האזוריות. למשל Cloud SQL עם זמינות גבוהה, או אשכול Kubernetes אזורי במקום אשכול באזור זמינות אחד.
- אל תסמכו על משאבים חדשים בזמן תקלה: בתקלה הזו לא תמיד היה אפשר להקים אותם. שקלו קיבולת שמורה מראש, או סביבת גיבוי באזור אחר.
- שאלו את הספקים: בקשו מספקי ה-SaaS, התשלומים וההזדהות שלכם לפרט על איזו תשתית הם רצים. שאלו גם מה תוכנית ההתאוששות שלהם.
- תרגלו: תוכנית התאוששות שלא נבדקה היא רק מסמך. הריצו תרגיל כיבוי של אזור זמינות לפחות פעם בשנה, והירשמו להתראות בדף הסטטוס של הספק.
מקורות והרחבה
- Google Cloud says a power event caused today's outageThe Register
- Multiple services experiencing issues in europe-west2Google Cloud Service Health
הכתבה נכתבה במקור בעברית על ידי מערכת GEEKLIK, על בסיס המקורות שלמעלה ובדיקת העובדות מולם.
מצאתם טעות? דווחו לנו
