Cloudflare: חסימת בוטי אימון תחסום מ-15 בספטמבר גם את Googlebot
Cloudflare הציגה ב-1 ביולי שלוש קטגוריות ל-AI: חיפוש, Agent ואימון. מי שחוסם אימון יחסום מ-15 בספטמבר גם בוטים כמו Googlebot, ובמקביל היא בוחנת תשלום לפי שימוש.
TL;DR בקצרה
- ב-1 ביולי 2026 Cloudflare חילקה בוטי AI לשלוש קטגוריות שכל לקוח יכול לנהל: חיפוש, Agent ואימון.
- מ-15 בספטמבר בוטים שעושים גם חיפוש וגם אימון, כמו Googlebot, ייחסמו אצל מי שחוסם אימון.
- באתרים חדשים ב-Cloudflare בוטי אימון ו-Agent ייחסמו כברירת מחדל בדפים עם פרסומות.
- Cloudflare בוחנת עם Ceramic.ai ו-You.com תשלום לפי שימוש, והוא נכנס לבטא ב-30 בספטמבר.
Cloudflare הודיעה ב-1 ביולי 2026 על שינוי שייכנס לתוקף ב-15 בספטמבר. לקוח שחוסם בוטי אימון של AI יחסום גם בוטים שעושים חיפוש ואימון יחד, כמו Googlebot. זה חשוב לכל מי שהאתר שלו מאחורי Cloudflare. השינוי נשען על חלוקה חדשה של בוטי AI לשלוש קטגוריות.
איך Cloudflare מחלקת בוטים, ומה קורה ל-Googlebot
לפי הפוסט של Cloudflare, אפשר לנהל תנועת AI לפי שלושה שימושים. חיפוש מתאר בוט שבונה אינדקס כדי לענות על שאלות בהמשך. Agent הוא בוט שפועל בשם אדם בזמן אמת, כמו ChatGPT-User. אימון הוא בוט שאוסף את התוכן כדי לאמן מודל. האפשרות פתוחה לכל הלקוחות, גם בתוכנית החינמית.
Cloudflare קבעה שברירות מחדל חדשות ייכנסו לתוקף ב-15 בספטמבר 2026. באתרים חדשים ב-Cloudflare בוטי אימון ו-Agent ייחסמו בדפים שמציגים פרסומות, ובוטי חיפוש יישארו מותרים. באותו יום Cloudflare תתחיל לטפל בבוטים מרובי מטרות לפי כל ההתנהגויות שלהם.
בפועל, חל הכלל המחמיר ביותר. לכן Googlebot, Applebot ו-BingBot ייחסמו אצל לקוחות שבחרו לחסום אימון. זה נכון גם למי שחסם דרך השירות הישן Block AI bots. מי שרוצה להמשיך לאפשר סריקה של בוטים כאלה צריך לסמן זאת. את הסימון עושים בהגדרות האבטחה לפני 15 בספטמבר.
הסימון החדש use ב-robots.txt ותשלום לפי שימוש
Cloudflare בודקת סימן חדש בשם use. הוא מרחיב את Content Signals ויושב בקובץ robots.txt. יש לו שלוש רמות. Immediate פירושו אינטראקציה בלי לשמור. Reference פירושו אינדוקס, ציטוט וקישור חזרה. Full פירושו סיכום ושחזור. לקוחות שהפעילו את שירות robots.txt של Cloudflare יקבלו את use=reference כברירת מחדל.
במקביל Cloudflare השיקה תוכנית מחקר שנקראת Making AI search smarter. לפי הנתונים שלה, מעל מחצית מתעבורת הסריקה של בוטים לגיטימיים מביאה שוב דפים שלא השתנו. אות שמודיע ״לא השתנה כלום״ מאפשר לבוט לדלג. התוכנית מוגבלת לחיפוש. היא לא משתפת את התוכן, ולא מאמנת מודלי יסוד.
ההצעה המסחרית היא Pay Per Use. Cloudflare מנסה אותה עם Ceramic.ai ועם You.com. אצל Ceramic אתרים שנרשמו מקבלים תשלום כשהם מופיעים בתוצאות החיפוש שלה. הם מקבלים גם דוח על שאילתות, דפים ומיקום ממוצע. אצל You.com סוכנים משלמים לפי דרישה על פריט פרימיום ספציפי. Cloudflare מדגישה שזה ניסוי, ולא פרסמה מחירים.
הרקע לצעד הוא נתון של Pew Research מ-2025 שהיא מצטטת. כשגוגל מציגה תקציר AI, גולשים לוחצים על תוצאה רגילה ב-8% מהמקרים, כמחצית מהקצב בלי תקציר. הם לוחצים על קישור בתוך התקציר ב-1% בלבד.
מה קרה מאז: ב-30 בספטמבר 2026 Cloudflare פרסמה ש-Pay Per Use נכנס לבטא. לפי הפוסט, קונה מציע מחיר על שימוש מסוים בתוכן. המפרסם מחליט אם לקבל. הקונה מדווח על כל שימוש. Cloudflare מחייבת את הקונה ומשלמת לאתרים מדי חודש.
מה זה אומר עבורכם
- בדקו אם האתר מאחורי Cloudflare. אם כן, פתחו את הגדרות בוטי AI. בדקו אם חסמתם אימון או סימנתם Block AI bots בעבר.
- הגנו על Googlebot. לפי Cloudflare, חסימת אימון חוסמת גם בוטים מרובי מטרות. אם אתם תלויים בחיפוש, בדקו שהסימון נכון.
- עקבו אחרי הסריקה. בדקו ב-Search Console את דוח Crawl Stats. ירידה חדה בבקשות היא סימן לבדוק את החסימות.
- עברו על robots.txt. אם אתם משתמשים בקובץ המנוהל של Cloudflare, תראו בו את Content-Signal ואת use=reference.
- אל תבנו על Pay Per Use עדיין. זה ניסוי בבטא, בלי מחירים פומביים. אם אתם מפרסמים את התוכן המקורי שלכם, בדקו בלוח הבקרה אם יש הצעות.
מקורות והרחבה
- Your site, your rules: new AI traffic options for all customersCloudflare Blog
- Making AI search smarterCloudflare Blog
- Pay Per Use: when AI uses your work, you should get paidCloudflare Blog
הכתבה נכתבה במקור בעברית על ידי מערכת GEEKLIK, על בסיס המקורות שלמעלה ובדיקת העובדות מולם.
מצאתם טעות? דווחו לנו
