Cloudflare מציגה Content Signals: שלוש הצהרות ב-robots.txt על שימוש ב-AI בתוכן האתר

ב-24 בספטמבר 2025 הציגה Cloudflare את Content Signals Policy, תוספת לקובץ robots.txt. בעל אתר יכול להצהיר בה מה מותר לעשות בתוכן שלו אחרי שבוט סרק אותו. יש שלושה סימנים: search, ai-input ו-ai-train. Cloudflare מדגישה שהם העדפות ולא חסימה טכנית.

מה אומרים שלושת ה-Content Signals

הקובץ robots.txt קובע לאילו בוטים מותר להיכנס ולאילו חלקים באתר. הוא לא קובע מה הבוט עושה בתוכן אחרי הסריקה. לפי Cloudflare, זה הפער שהמדיניות החדשה באה למלא.

הסימן search מתיר בנייה של אינדקס חיפוש והצגת תוצאות, כמו קישורים וקטעים קצרים. Cloudflare מגדירה במפורש שהוא לא כולל תקצירי חיפוש שנוצרו ב-AI. הסימן ai-input מתייחס להזנת התוכן למודלי AI, למשל לשליפה בזמן אמת לתשובות חיפוש גנרטיביות. הסימן ai-train מתייחס לאימון או לכיוונון של מודלים.

התחביר קצר: Content-Signal: search=yes, ai-train=no. ערך yes מתיר את השימוש, ערך no אוסר אותו. אם סימן חסר, בעל האתר לא התיר ולא אסר דבר. הטקסט של המדיניות מופיע כהערות ב-robots.txt. הוא כולל גם הסתייגות זכויות לפי סעיף 4 לדירקטיבה האירופית 2019/790 על זכויות יוצרים.

מה Cloudflare עושה בפועל עם Content Signals

מעל 3.8 מיליון דומיינים כבר הפעילו את שירות robots.txt המנוהל של Cloudflare. הם ביקשו בכך לא לאפשר אימון מודלים. עבורם תוסיף Cloudflare את המדיניות ואת הסימנים search=yes ו-ai-train=no. את ai-input היא לא תוסיף. לדבריה, היא לא יודעת מה ההעדפה שלהם ולא רוצה לנחש.

אתרים בתוכנית החינמית שאין להם robots.txt מקבלים מאותו יום רק טקסט מסביר. אין בו Allow או Disallow, ואין בו סימנים בפועל. למי שיש robots.txt קיים, שום דבר לא משתנה. אתרים בתוכנית החינמית יכולים לכבות את התוספת בהגדרות האבטחה בלוח הבקרה. באתר ContentSignals.org יש כלי ליצירת סימנים משלכם. המדיניות פתוחה ברישיון CC0.

למה Content Signals לא מבטיחים חסימה, וגם לא מ-Google

לדברי Cloudflare, חלק מהחברות עלולות להתעלם מהסימנים. לכן היא ממליצה לשלב אותם עם כללי WAF ועם Bot Management. לפי Search Engine Roundtable, Cloudflare אומרת שהסימנים יאפשרו חיפוש רגיל ב-Google בלי להיכלל בתקצירי AI. התנאי הוא ש-Google תכבד אותם.

אתר החדשות Search Engine Roundtable מצטט דיווח של The Information. לפי הדיווח, מנכ״ל החברה, Matthew Prince, אמר שהוא הודיע ל-Google מראש על המהלך. עם זאת, Google לא אמרה שתכבד את ההוראות החדשות. הוא הוסיף שקובץ robots.txt אינו מחייב מבחינה משפטית. מקור הדברים הוא דיווח אחד בלבד. לא מצאנו תגובה של Google לדיווח הזה.

מה קרה מאז: סימן רביעי בשם use

מה קרה מאז: ב-1 ביולי 2026 כתבה Cloudflare שהיא בודקת סימן רביעי ב-robots.txt, בשם use. הוא מרחיב את Content Signals ויש לו שלוש רמות: immediate, reference ו-full. הרמה reference פירושה אינדוקס, ציטוט וקישור חזרה. לקוחות שהפעילו את שירות robots.txt של Cloudflare יקבלו use=reference.

עוד ב-GEEKLIK: Cloudflare: חסימת בוטי אימון תחסום מ-15 בספטמבר גם את Googlebot