Google-Agent: זהות חדשה לסוכני AI של Google שגולשים באתרים בשם משתמשים
ב-20 במרץ 2026 הוסיפה Google את Google-Agent לרשימת ה-user-triggered fetchers. לפי התיעוד, אלה סוכנים שמתארחים בתשתית של Google, ובדרך כלל כלים כאלה מתעלמים מ-robots.txt.
TL;DR בקצרה
- Google הוסיפה ב-20 במרץ 2026 את Google-Agent לרשימת ה-user-triggered fetchers, עם מחרוזות user agent וקובץ IP חדש.
- הוא משמש סוכנים שמתארחים בתשתית של Google וגולשים ופועלים באתרים לפי בקשת משתמש, כמו Project Mariner.
- לפי Google, כלים שהמשתמש מפעיל בדרך כלל מתעלמים מכללי robots.txt.
- ב-4 במאי 2026 הוסיפה Google תיעוד על אימות בקשות באמצעות Web Bot Auth.
ב-20 במרץ 2026 הוסיפה Google את Google-Agent לרשימת ה-user-triggered fetchers שלה. זו זהות חדשה לסוכני AI שמתארחים בתשתית של Google וגולשים באתרים לפי בקשת משתמש. לפי Google, הוא ייפרס בהדרגה בתוך כמה שבועות מאותו תאריך.
העדכון מופיע ביומן השינויים של התיעוד על הסריקה של Google. הוא כולל גם הוספה של טווחי IP לסוכנים כאלה בעמוד על אימות בקשות מ-Google.
מה זה Google-Agent
בתיעוד כתוב שהוא משמש סוכנים שמתארחים בתשתית של Google. הם מנווטים ברשת ומבצעים פעולות לבקשת המשתמש. הדוגמה שמופיעה שם היא Project Mariner. PPC Land מתאר אותו כסוכן AI ניסיוני של Google שמשלים משימות בתוך דפדפן.
לסוכן יש שתי מחרוזות user agent, אחת למובייל ואחת לדסקטופ. בשתיהן מופיע הסימון compatible; Google-Agent וקישור לעמוד התיעוד. מספר הגרסה של Chrome מופיע שם כ-W.X.Y.Z, ובבקשה האמיתית יופיע מספר הגרסה בפועל.
טווחי ה-IP שלו מפורסמים בקובץ משלהם, user-triggered-agents.json. Google מציינת גם שהיא מנסה את פרוטוקול web-bot-auth, עם הזהות agent.bot.goog.
למה Google-Agent לא כמו Googlebot
Google מחלקת את הסורקים והכלים שלה לשלוש קטגוריות. הראשונה היא סורקים נפוצים, כמו Googlebot. הם תמיד מכבדים כללי robots.txt בסריקה אוטומטית. השנייה היא סורקים למטרה מיוחדת, כמו AdsBot, שעשויים לכבד את הכללים וגם לא.
הסוכן החדש שייך לקטגוריה השלישית, user-triggered fetchers. אלה כלים שהמשתמש מפעיל, והבקשה נעשית בשמו. לכן, לפי Google, הם בדרך כלל מתעלמים מכללי robots.txt. הדוגמאות בתיעוד הן Google Site Verifier ופונקציה באתר ב-Google Cloud שמביאה פיד RSS חיצוני.
ההבדל חשוב לבעלי אתרים. הכלל Disallow ב-robots.txt מיועד לסורקים אוטומטיים. ההיגיון בתיעוד: אדם ביקש את הפעולה, ולכן היא אינה סריקה אוטומטית של הרשת.
איך מזהים את Google-Agent בלוגים
בלוגים של השרת אפשר לחפש את המחרוזת Google-Agent. Google מזהירה שמחרוזת user agent אפשר לזייף. לכן היא ממליצה לאמת בקשה מול רשימות ה-IP שהיא מפרסמת. עבור סוכנים כאלה זה הקובץ user-triggered-agents.json.
בעמוד הרשימה Google מפרטת גם reverse DNS. לפי הדף, כלים שהמשתמש מפעיל מתאימים לאחת משתי מסכות: gae.googleusercontent.com או google-proxy.google.com. הדף לא מפרט איזו מהן חלה על Google-Agent. Google מציינת עוד שהרשימה אינה ממצה, והיא כוללת רק כלים שסביר שיופיעו בלוגים.
בעמוד האימות Google מגדירה את הקטגוריה ככלים ופונקציות שבהם המשתמש מפעיל את הבקשה. כלומר, מאחורי הבקשה עומד משתמש אמיתי, גם אם הסוכן מבצע אותה.
מה קרה מאז
ב-4 במאי 2026 הוסיפה Google תיעוד על אימות בקשות באמצעות Web Bot Auth. לפי יומן השינויים, חלק מה-user agents של Google התחילו להשתמש בפרוטוקול, והפרוטוקול עדיין בשלב ניסיוני.
מה זה אומר עבורכם
- חפשו אותו בלוגים. בדקו אם מופיעה אצלכם הבקשה Google-Agent, ובאילו דפים היא מבקרת.
- אמתו לפי IP. מחרוזת user agent אפשר לזייף, ולכן השוו את הכתובת לקובץ user-triggered-agents.json.
- אל תסתמכו על robots.txt. לפי Google, כלים שהמשתמש מפעיל בדרך כלל מתעלמים ממנו. מי שרוצה להגביל גישה צריך לעשות זאת בצד השרת.
- חשבו לפני חסימה. הסוכן פועל בשם משתמש שמנסה להשלים משימה באתר שלכם. חסימה עלולה לחסום גם לקוח אמיתי.
- בדקו את חוקי האבטחה. ודאו ש-WAF או CDN לא מסווגים את התנועה הזו כהתקפה. בדקו גם איך כלי האנליטיקה מתייחסים אליה.
מקורות והרחבה
- Google crawling infrastructure changelog: Added the Google-Agent user agentGoogle Crawling Infrastructure
- List of Google user-triggered fetchersGoogle Crawling Infrastructure
- Verify requests from Google crawlers and fetchersGoogle Crawling Infrastructure
- Google-Agent joins the crawler list as AI browsing gets an official identityPPC Land
הכתבה נכתבה במקור בעברית על ידי מערכת GEEKLIK, על בסיס המקורות שלמעלה ובדיקת העובדות מולם.
מצאתם טעות? דווחו לנו
