Google: סריקה תכופה היא ״סימן טוב״, כך לפי עמוד העזרה החדש על web crawling
ב-4 במרץ 2026 דווח על עמוד עזרה של Google שמסביר איך הסריקה שלה עובדת. הוא קובע שסריקה תכופה היא סימן טוב, ושקצב הסריקה יורד אוטומטית כשהאתר איטי.
TL;DR בקצרה
- העמוד Things to know about Google's web crawling מסביר איך הסריקה של Google עובדת, והתעדכן לאחרונה ב-3 במרץ 2026.
- Google כותבת שסריקה תכופה מעידה על תוכן טרי או רלוונטי, ושאתרי מסחר נסרקים לעיתים קרובות כדי להציג מחירים ומלאי עדכניים.
- קצב הסריקה יורד אוטומטית כשהאתר איטי או מחזיר שגיאות, ואפשר להגדיר מה לא צריך לסרוק.
- ה-token Google-Extended בקובץ robots.txt שולט באימון Gemini, ולא משפיע על הכללת האתר בחיפוש.
ב-4 במרץ 2026 דיווח Search Engine Roundtable על עמוד עזרה חדש של Google שמסביר איך ה-web crawling שלה עובד. שם העמוד הוא Things to know about Google's web crawling. לפי תאריך העדכון שלו, הוא התעדכן לאחרונה ב-3 במרץ. בעמוד יש משפט שבעלי אתרים ישמחו לראות: Google אומרת שסריקה תכופה היא סימן טוב.
מה Google אומרת על web crawling
הסריקה, לפי העמוד, היא הדרך שבה Google ״רואה״ את הרשת. תוכנות אוטומטיות מגלות עמודים חדשים ומבינות אותם, כדי שיוכלו להופיע בתוצאות. ל-Google יש הרבה סורקים. Googlebot משרת את החיפוש, ויש סורקים לתמונות ולקניות. הם משתמשים בשמות מזהים ובכתובות IP ידועות, כך שבעלי אתרים יכולים לוודא שהסורק אמיתי.
Google סורקת שוב ושוב כדי לתפוס עדכונים. עמודי בית של אתרי חדשות יכולים להיסרק כל כמה דקות. עמוד שלא השתנה שנים עשוי להמתין חודש. בעלי אתרים יכולים להשפיע על הקצב באמצעות קובצי sitemap.
לגבי סריקה תכופה, העמוד קובע שסריקה רבה של אתר מעידה על תכנים טריים או רלוונטיים. אלה תכנים שאנשים רוצים למצוא. Google נותנת דוגמה של קניות: היא סורקת אתרי מסחר לעיתים קרובות כדי להציג מחירים, מבצעים ומצב מלאי עדכניים.
סיבה נוספת לסריקות חוזרות היא המורכבות של עמודים. לפי Google, העמוד החציוני בנייד גדל מ-816 קילובייט ל-2.3 מגה, ויש בו כבר מעל 60 קבצים. כדי לקבל תמונה מלאה, היא צריכה לפעמים לסרוק את אותו עמוד כמה פעמים.
מה Google אומרת על שליטה בסריקה
הסורקים מכווננים את עצמם. כשאתר נעשה איטי או מחזיר שגיאות, קצב הסריקה יורד אוטומטית כדי לא להעמיס על השרת. Google גם משתמשת במטמון כדי לצמצם סריקות מבוזבזות. היא יודעת להבחין באזורים שלא צריך לסרוק במלואם, כמו לוח שנה שנמשך עד שנת 9999.
בעלי אתרים יכולים לעזור ולסמן מה אין צורך לסרוק. לפי Google, זה חוסך כסף בתשתית. הם שולטים בסריקה גם דרך robots.txt, תגיות robots ו-sitemap, ומנהלים את התדירות באמצעות תקציב סריקה.
התוכן שמאחורי כניסה או מנוי נשאר סגור לסורקים בלי הרשאה. מי שרוצה לאפשר גישה יכול להשתמש בנתונים מובנים, כך שגולשים ימשיכו לראות מסך כניסה בלי הפרת כללי הספאם.
העמוד מזכיר גם את Google-Extended. זה token ב-robots.txt ששולט, בין השאר, אם התוכן יסייע לאמן גרסאות עתידיות של Gemini. לפי Google, השימוש בו לא משפיע על הכללת האתר בחיפוש, והיא אינה משתמשת בו כאות דירוג.
מה העמוד לא אומר על web crawling
העמוד קורא לסריקה תכופה סימן טוב, אבל אינו מציג אותה כגורם דירוג. הוא גם אינו נותן מספרים, כמו מהי כמות גבוהה של סריקות ביום. לכן אי אפשר ללמוד ממנו שאתר שנסרק פחות הוא אתר גרוע.
Google מזכירה ש-Search Console זמין בחינם. הכלי מציג כמה סרקה Google ולמה, ועוזר לאבחן השבתות של השרת ובעיות מהירות. לבעלי אתרים בישראל שמארחים בשרתים משותפים זו הנקודה הפרקטית: אם השרת איטי, הסריקה תרד מעצמה.
מה זה אומר עבורכם
- אל תיבהלו מסריקות רבות. לפי Google, סריקה תכופה היא סימן טוב. חסמו אותה רק אם השרת באמת מתקשה, ובדרך המתועדת של Google להפחתת קצב הסריקה.
- בדקו את Search Console. בדוח הסריקה חפשו ירידה פתאומית או שגיאות שרת. ירידה כזו עשויה להצביע על אתר איטי ולא על עונש.
- שפרו את מהירות השרת. Google מאטה את הסריקה כשהאתר איטי או מחזיר שגיאות. באתר מהיר אין סיבה להאטה.
- סמנו מה לא לסרוק. חסמו ב-robots.txt כתובות ללא ערך, כמו לוחות שנה אינסופיים ומסנני חיפוש. כך Google תתמקד בעמודים שחשובים לכם.
- הגדירו את Google-Extended בכוונה. החליטו אם אתם מרשים שימוש בתוכן לאימון Gemini. זה לא ישפיע על הופעה בחיפוש.
מקורות והרחבה
- Things to know about Google's web crawlingGoogle Search Central
- New Google Help Doc About Google's Web CrawlingSearch Engine Roundtable
הכתבה נכתבה במקור בעברית על ידי מערכת GEEKLIK, על בסיס המקורות שלמעלה ובדיקת העובדות מולם.
מצאתם טעות? דווחו לנו
