Google ו-Bing יכבדו שורה אחת ב-robots.txt שחוסמת אימון AI על האתר שלכם
Google ו-Microsoft הודיעו ביום אחד על תמיכה בסימון משותף ב-robots.txt, שמאפשר לאתרים לסרב לאימון מודלי AI. ב-Bing יש גם מועד אחרון שבעלי אתרים צריכים לסמן.
TL;DR בקצרה
- הסימון החדש מבוסס על טיוטה ב-IETF, ונכתב כ-User-Agent בשם __usage_ai-training
- Google תתייחס אליו כמו לחסימת Google-Extended, ומכוונת להפעלה ב-2027
- Bing מתחילה לכבד את ההגדרות ב-1 בפברואר 2027, עם הגדרה נפרדת לשימוש בתשובות AI
- מי שמסתמך היום על NoArchive או NoCache ב-Bing צריך לעדכן עד 1 במרץ 2027
שתי ענקיות החיפוש הודיעו ב-30 באוקטובר על אותו צעד. Google ו-Microsoft יתמכו בסימון משותף ב-robots.txt, שמאפשר לבעלי אתרים לסרב לשימוש בתכנים שלהם לאימון מודלי AI. במקום לחסום כל חברה בנפרד, שורה אחת אמורה לחול על כל ספקי ה-AI שיצטרפו.
איך נראה הסימון החדש ב-robots.txt
הסימון מבוסס על טיוטה שהוגשה ל-IETF, הגוף שמגדיר תקני אינטרנט. הטיוטה פורסמה באותו יום, והכותב שלה הוא Kevin Kelley מ-Anthropic. היא לא מוסיפה פקודות חדשות לקובץ. במקום זה, היא משתמשת בשם מוסכם בשורת User-Agent:
User-Agent: __usage_ai-training
Disallow: /
שתי השורות האלה מבקשות לא לאמן AI על אף עמוד באתר. אפשר גם להוסיף שורת Allow לתיקייה מסוימת, למשל ערכת עיתונאים, ולהשאיר רק אותה פתוחה. פרט חשוב: לפי הטיוטה, שורת User-Agent: * הכללית לא חלה על הסימון הזה. צריך לכתוב אותו במפורש.
חשוב לזכור גם שזו עדיין טיוטה של אדם אחד, בלי מעמד רשמי ב-IETF. המשמעות המעשית תלויה בחברות שיבחרו לכבד אותה.
מה Google מבטיחה, ומתי
בפוסט בבלוג Google Search Central כתב John Mueller ש-Google מתכננת לתמוך בסימון. אם אתר יסרב לאימון דרכו ולא יגדיר את Google-Extended בנפרד, Google תתייחס לזה כאילו Google-Extended נחסם. Google-Extended הוא הבקר של Google לאימון מודלים, שקיים מ-2023.
ההגדרות הייעודיות לכל חברה ימשיכו לעבוד לצד הסימון המשותף. לפי Google, אתרים שמאשרים במפורש את Google-Extended זכאים להופיע בתשובות של אפליקציות Gemini ולקבל מהן קליקים. היעד להפעלה הוא 2027, בלי תאריך מדויק. Google לא מתייחסת בפוסט ל-AI Overviews או ל-AI Mode בחיפוש.
Bing: robots.txt לאימון, תגית נפרדת לתשובות AI
Microsoft הלכה צעד נוסף. לפי הבלוג של Bing, יש לה שתי הגדרות נפרדות. הראשונה היא אימון, דרך אותו סימון ב-robots.txt או דרך תגית meta בעמוד. השנייה היא grounding, כלומר שימוש בעמוד כדי לנסח תשובה עם ציטוט ב-Copilot, ב-Bing וב-Microsoft 365.
את ה-grounding מגדירים רק ברמת העמוד, עם התגית ai-grounding:disallow. יש גם אפשרות ביניים, disallowextended, שמאפשרת שימוש במוצרים של Microsoft עצמה וחוסמת שירותים שהיא מוכרת לחברות אחרות. לפי Microsoft, אף אחת מההגדרות לא משנה את ההופעה בתוצאות החיפוש הרגילות. חסימת grounding כן תפחית את הנראות של המותג בתשובות AI.
למה robots.txt חשוב שוב לבעלי אתרים בישראל
הרבה אתרים עסקיים בישראל לא נגעו ב-robots.txt מאז שהוקמו. בשנים האחרונות כל חברת AI הציגה בוט משלה, ומי שרצה לחסום אימון היה צריך לרדוף אחרי רשימה שמשתנה כל הזמן. סימון אחד משותף עושה את ההחלטה פשוטה.
אבל ההחלטה עצמה לא פשוטה. אתר של עסק מקומי ברוב המקרים רוצה להופיע בתשובות AI, כי משם מגיעים לקוחות. ההפרדה של Bing בין אימון לבין ציטוט מאפשרת לסרב לראשון ועדיין ליהנות מהשני. מו״לים ואתרי ידע, לעומת זאת, עשויים לרצות לחסום את שניהם.
מה זה אומר עבורכם
- החליטו מה המדיניות שלכם: האם אתם מוכנים שיאמנו AI על האתר, והאם אתם רוצים להופיע בתשובות AI עם קישור.
- אם אתם חוסמים היום את Bing דרך NoArchive או NoCache, שימו ביומן את 1 במרץ 2027. עד אז צריך לפרסם את ההגדרות החדשות ולרשום הגדרה זמנית ב-Bing Webmaster Tools.
- מי שרוצה לסרב לאימון יכול להוסיף כבר עכשיו את שתי השורות של
__usage_ai-training. Bing תתחיל לכבד אותן ב-1 בפברואר 2027. - אל תחסמו את Bingbot עצמו בטעות. ההגדרות החדשות עוסקות בשימוש בתוכן האתר, לא בסריקה.
- אחרי שינוי, שלחו את העמודים דרך IndexNow כדי לעודד סריקה חוזרת. Microsoft מציינת שזה לא מבטיח מועד.
מה הלאה
הלוח של Bing ברור: הגדרות זמניות ב-Webmaster Tools החל מ-15 בדצמבר 2026, כניסה לתוקף ב-1 בפברואר, ומועד אחרון ב-1 במרץ 2027. ב-Google עוד אין תאריך. השאלה הגדולה היא אם ספקי AI נוספים יצטרפו. בלי זה, הסימון המשותף יחליף רק חלק מהרשימה הארוכה של בוטים שצריך לחסום היום.
מקורות והרחבה
- Supporting a shared AI training control for websitesGoogle Search Central
- Your content, your choice: clearer preferences for training and groundingMicrosoft Bing
- draft-kelley-aipref-training-preference-signalIETF
- Google Adopts New AI Training ControlSearch Engine Roundtable
הכתבה נכתבה במקור בעברית על ידי מערכת GEEKLIK, על בסיס המקורות שלמעלה ובדיקת העובדות מולם.
מצאתם טעות? דווחו לנו
