Google מזהירה: חסימת בוטים גורפת ב-CDN עלולה להוציא את האתר והמוצרים מהחיפוש
Google מסבירה למה סריקת האתר מזנקת דווקא אחרי מעבר ל-CDN, ולמה הפתרון האינסטינקטיבי, חסימת כל הבוטים, עלול לעלות לכם בדירוג, ב-Shopping ובמודעות. לפני Black Friday זה זמן טוב לבדוק את ההגדרות.
TL;DR בקצרה
- אחרי מעבר ל-CDN האתר עונה מהר, ו-Google מגבירה את קצב הסריקה בהתאם
- בהתחלה המטמון של ה-CDN ריק, ולכן כל הבקשות האלה עדיין מגיעות לשרת המקורי
- חסימת בוטים גורפת חוסמת גם את Googlebot, והדפים ורשימות המוצרים עלולים לרדת מהחיפוש
- הפתרון של Google: לאשר בוטים מאומתים, לחמם את המטמון מראש ולהחזיר 429 או 503 ליום או יומיים לכל היותר
Google פרסמה ב-11 בנובמבר הנחיה לבעלי אתרים שעוברים ל-CDN, רשת השרתים שמגישה את האתר מנקודות קרובות לגולשים. לפי החברה, דווקא אחרי המעבר הסריקה של Google לשרת המקורי עלולה לזנק. ההנחיה מזהירה גם מהתגובה הנפוצה לזינוק הזה: הפעלת חסימת בוטים גורפת. חסימה כזו עלולה להוציא דפים ומוצרים מתוצאות החיפוש.
למה הסריקה קופצת אחרי מעבר ל-CDN
Google קובעת את קצב הסריקה לפי מהירות התגובה של האתר. כשהשרת עונה לאט, הסורקים מאטים כדי לא להעמיס עליו. כשהוא עונה מהר ובעקביות, Google מסיקה שהתשתית חזקה ומעלה בהדרגה את הקצב.
מעבר ל-CDN משנה את התמונה בבת אחת. זמני התגובה צונחים, ומבחינת Google זה נראה כמו שדרוג חומרה גדול. לכן הסורקים מתחילים לבקש עוד ועוד דפים.
הבעיה היא שבשלב הראשון המטמון של ה-CDN ריק. בפעם הראשונה שמישהו מבקש כתובת מסוימת, ה-CDN צריך להביא אותה מהשרת המקורי. רק מהבקשה השנייה הוא מגיש אותה בעצמו. גולשים רגילים מתרכזים בכמה דפים פופולריים, שנכנסים למטמון מהר. סורקים, לעומת זאת, עוברים על כל הכתובות באתר. כך יוצא שהשרת המקורי ממשיך לספוג את רוב העומס, ולפעמים אף מוצף.
מה קורה כשחוסמים את כל הבוטים ב-CDN
מנהל אתר שרואה גרף של בקשות אוטומטיות מזנק נוטה להניח שמישהו מגרד לו את האתר. הצעד הבא ברור: נכנסים ללוח הבקרה של ה-CDN ומדליקים הגנה גורפת מפני בוטים. לפי Google, כאן מתחילה הבעיה האמיתית.
הגנה כזו מציגה לכל תנועה אוטומטית אתגר, למשל CAPTCHA. גם Googlebot נתקל בו, ולא עובר אותו. מבחינת Google האתר נראה חסום או שבור. לדברי החברה, אם המצב נמשך, הסורקים יתרחקו, והדפים ורשימות המוצרים יתחילו לרדת מהחיפוש.
בסרטון הנלווה להנחיה, לפי הסיכום של PPC Land, אנשי Google הולכים צעד נוסף. הם אומרים שמוצרים עלולים להיעלם מ-Google Shopping, ושמוצרי הפרסום יפסיקו לעבוד. הסיבה היא ש-Shopping ו-Google Ads נשענים על אותה תשתית סריקה. Google לא מסרה כמה זמן חסימה צריכה להימשך עד שזה קורה.
שלושת הצעדים ש-Google ממליצה לפני מעבר ל-CDN
בבלוג Google Search Central החברה מציעה תוכנית פשוטה. ראשית, אם אתם חייבים לחסום בוטים, הפעילו את האפשרות לאשר בוטים מאומתים. רוב ספקי ה-CDN וחומות האש לאתרים מציעים מתג כזה. אפשר גם לזהות את הסורקים של Google לפי טווחי ה-IP שהיא מפרסמת. עדיף, לדבריה, לחסום בוטים ספציפיים שאתם לא רוצים, ולא את כולם.
שנית, חממו את המטמון לפני שמעבירים את כל התנועה. כלומר, טענו מראש דרך ה-CDN את הדפים הפופולריים, את דפי המבצעים הקרובים ואת הכתובות שנסרקות הכי הרבה. שלישית, אם השרת עדיין קורס תחת העומס, החזירו קוד 429 או 503. Google מגבילה את זה לכמה שעות, או ליום או יומיים לכל היותר.
מה זה אומר עבורכם
- היכנסו להגדרות ה-CDN או חומת האש, למשל Cloudflare, ובדקו שהאפשרות לאשר בוטים מאומתים פעילה.
- אחרי כל שינוי בהגנה מפני בוטים, בדקו ב-Search Console את דוח נתוני הסריקה ואת דוח הדפים.
- יש לכם חנות? עקבו ב-Merchant Center אחרי שגיאות של דף מוצר לא זמין, במיוחד לפני Black Friday.
- מתכננים מעבר ל-CDN? עשו אותו בתקופה רגועה, וחממו מראש את דפי המבצעים והמוצרים המרכזיים.
- אל תחזירו 503 או 429 לאורך ימים. Google מזהירה שזה פתרון קצר בלבד.
מה הלאה
Google לא פרסמה נתונים על היקף התופעה או על משך הזמן עד שדפים יוצאים מהאינדקס. לכן כדאי לבדוק את יומני השרת ואת Search Console בעצמכם. ההנחיה מגיעה ממש לפני עונת המבצעים, כשכל יום שבו מוצר לא מופיע עולה כסף.
מקורות והרחבה
- Moving to a CDN without overwhelming your origin (or blocking Googlebot)Google Search Central
- Google says CDN bot blocks can drop products from Shopping and adsPPC Land
הכתבה נכתבה במקור בעברית על ידי מערכת GEEKLIK, על בסיס המקורות שלמעלה ובדיקת העובדות מולם.
מצאתם טעות? דווחו לנו
