Googlebot קורא עד 2MB מכל כתובת, ומה שאחרי הגבול לא נסרק: ההסבר של Google
בפוסט ב-Search Central מסבירה Google ש-Googlebot מוריד עד 2MB מכל כתובת, ללא PDF. בייטים שאחרי הגבול לא מורדים, לא מעובדים ולא נכנסים לאינדקס.
TL;DR בקצרה
- ב-31 במרץ 2026 פרסמה Google בבלוג Search Central את Inside Googlebot, שמלווה את פרק 105 של Search Off the Record.
- Googlebot מוריד עד 2MB מכל כתובת, כולל כותרות HTTP. ל-PDF המגבלה היא 64MB, ולסורקים אחרים ברירת המחדל היא 15MB.
- דף HTML שגדול מ-2MB נחתך בגבול, והחלק שהורד עובר לאינדוקס ולעיבוד כאילו היה הדף המלא.
- Google ממליצה לשמור על HTML רזה, לשים תגיות חשובות בראש הדף ולעקוב אחרי זמני התגובה של השרת.
ב-31 במרץ 2026 הסבירה Google בבלוג Search Central איך Googlebot אוספת בייטים מדפים. המגבלה של Googlebot 2MB חלה על כל כתובת, ללא PDF, ו-Googlebot מתעלמת מכל מה שאחריה. לפי Google, Googlebot לא מורידה את הבייטים האלה, לא מעבדת אותם ולא מכניסה אותם לאינדקס. הפוסט, Inside Googlebot, מלווה את פרק 105 של הפודקאסט Search Off the Record.
Googlebot הוא לא כלי יחיד
לפי הפוסט של Google, Googlebot היא רק לקוח אחד של פלטפורמת סריקה מרכזית. עשרות לקוחות אחרים, כמו Google Shopping ו-AdSense, שולחים בקשות סריקה דרך אותה תשתית. כל אחד מהם משתמש בשם סורק אחר.
כלומר, Googlebot ביומני השרת היא Google Search בלבד. כל לקוח של הפלטפורמה קובע לעצמו כמה הגדרות. ביניהן מחרוזת ה-user agent, התגיות שיחפשו ב-robots.txt וכמה בייטים להוריד מכל כתובת.
סורקי תמונות וסרטונים משתמשים בספים שונים, לפי המוצר. סורק של favicon יוריד מעט, וסורק של חיפוש תמונות יוריד הרבה. לסורקים שלא הגדירו מגבלה, ברירת המחדל היא 15MB.
איך פועלת מגבלת Googlebot 2MB
Googlebot מורידה עד 2MB מכל כתובת, כולל כותרות ה-HTTP. ל-PDF המגבלה היא 64MB. אם ה-HTML גדול מ-2MB, Googlebot לא דוחה את הדף. היא עוצרת בדיוק בגבול.
הסורק מעביר את החלק שהוריד למערכות האינדוקס ול-Web Rendering Service, או WRS, כאילו היה הדף המלא. כל מה שאחרי הגבול נעלם מבחינתה. הוא לא מורד, לא מעובד ולא נכנס לאינדקס.
Googlebot אוספת בנפרד משאבים שה-HTML מפנה אליהם, כמו CSS ו-JavaScript. לכל אחד מהם יש מונה בייטים משלו, והוא לא מצטרף לגודל הדף. החריגים הם מדיה, גופנים וקבצים נדירים.
לפי Google, ברוב האתרים 2MB של HTML הם נפח עצום. הבעיה מתחילה בתמונות base64 שמוטמעות בדף. היא מתחילה גם בבלוקים ענקיים של CSS ו-JavaScript בתוך ה-HTML, או בתפריטים שתופסים מגה-בייטים בראש הדף. אז טקסט חשוב או נתונים מובנים עלולים להידחק מעבר לגבול. Google מסכמת: ״אם Googlebot לא מורידה את הבייטים החשובים, מבחינתה הם פשוט לא קיימים״.
מה קורה בשלב העיבוד
אחרי האיסוף, ה-WRS מריץ JavaScript בדומה לדפדפן מודרני. הוא מושך קבצי CSS ו-JavaScript ומעבד בקשות XHR. הוא לא מבקש תמונות או סרטונים. מגבלת 2MB חלה גם על כל משאב שהוא מבקש.
ה-WRS יכול להריץ רק קוד שהסורק אכן הוריד. בנוסף הוא פועל ללא מצב: הוא מנקה אחסון מקומי ונתוני סשן בין בקשות. Google מציינת שזה משפיע על האופן שבו רכיבים דינמיים שתלויי JavaScript מתפרשים.
הפוסט לא מפרט אם המדידה היא לפני דחיסה או אחריה. לכן כדאי לשמור על מרווח ביטחון ולא להתקרב לגבול.
איך לוודא שהדפים שלכם עומדים במגבלת Googlebot 2MB
Google ממליצה על שלוש פעולות. הראשונה היא לשמור על HTML רזה ולהעביר CSS ו-JavaScript כבדים לקבצים חיצוניים. השנייה היא לסדר את הרכיבים החשובים גבוה בדף. אלה תגיות meta, title ו-link, כתובות canonical ונתונים מובנים. השלישית היא לעקוב אחרי זמני התגובה בשרת, כי סורקים מאטים כשהשרת מתקשה, וקצב הסריקה יורד.
Google מוסיפה שהמגבלה לא חקוקה בסלע וייתכן שתשתנה לאורך זמן.
מה זה אומר עבורכם
- מדדו את ה-HTML. בלשונית Network בכלי המפתחים של Chrome בדקו כמה שוקל מסמך ה-HTML של דפי המפתח. אל תכללו את המשאבים.
- בדקו מה Google הורידה. ב-Search Console הפעילו בדיקת כתובת ופתחו את ה-HTML שנאסף, כדי לוודא שהחלק התחתון נכלל.
- קדמו את החשוב. ודאו שה-title, ה-canonical והנתונים המובנים מופיעים בראש ה-HTML.
- הוציאו CSS ו-JS החוצה. אל תשתמשו בתמונות base64 ובבלוקים ענקיים של קוד בתוך הדף, במיוחד באתרי WordPress עם בוני עמודים.
- עקבו אחרי השרת. שרת איטי מקטין את קצב הסריקה, ולכן בדקו את זמני התגובה ביומנים.
מקורות והרחבה
- Inside Googlebot: demystifying crawling, fetching, and the bytes we processGoogle Search Central
- Google Explains Googlebot Crawling, Fetching & Byte LimitsSearch Engine Roundtable
הכתבה נכתבה במקור בעברית על ידי מערכת GEEKLIK, על בסיס המקורות שלמעלה ובדיקת העובדות מולם.
מצאתם טעות? דווחו לנו
