מחקר של SE Ranking: קובץ llms.txt לא משפיע על הציטוטים של האתר שלכם ב-AI
בבדיקה של כמעט 300 אלף דומיינים לא נמצא קשר בין קובץ llms.txt לבין התדירות שבה מודלי שפה מצטטים אתר. גם Google כותבת שאין צורך בקבצים מיוחדים כדי להופיע ב-AI Overviews.
TL;DR בקצרה
- רק כ-10% מכמעט 300 אלף הדומיינים שנבדקו מחזיקים קובץ llms.txt, והשיעור כמעט זהה באתרים קטנים וגדולים.
- לא נמצא מתאם בין הקובץ לבין ציטוטים במודלי שפה, והוצאתו מהמודל הסטטיסטי אף שיפרה את הדיוק.
- Google כותבת בתיעוד שלה שאין צורך בקבצי טקסט ייעודיים ל-AI כדי להופיע ב-AI Overviews וב-AI Mode.
- ההמלצה: לבדוק robots.txt, מפת אתר ואינדוקס, ולהתייחס ל-llms.txt כניסוי לא מחייב.
בשנה האחרונה llms.txt הפך לסעיף קבוע ברשימות של ״איך להופיע ב-ChatGPT״. לא מעט אתרים הוסיפו אותו ליתר ביטחון. אבל מחקר ש-SE Ranking פרסמה בבלוג שלה ב-15 באוקטובר מצנן את ההתלהבות. החוקרים בדקו כמעט 300 אלף דומיינים. הם לא מצאו שום קשר בין קיום הקובץ לבין תדירות הציטוט של האתר במודלי שפה. יתרה מזו, כשהחוקרים הוציאו את הנתון הזה מהמודל הסטטיסטי שלהם, התחזיות דווקא השתפרו.
מה זה llms.txt, ולמה כולם דיברו עליו
llms.txt יושב בשורש האתר כקובץ טקסט. הוא אמור לשמש מעין מפת אתר למודלי AI. הוא מפנה אותם לעמודים החשובים, ולפעמים מפרט גם תנאי שימוש בתוכן. הרעיון עלה לדיון באמצע 2024, אבל הוא נשאר הצעה ולא תקן רשמי.
אף אחת מפלטפורמות ה-AI הגדולות לא אישרה שהיא משתמשת בו לדירוג או לציטוט. לפי SE Ranking, ביומני שרת רואים לפעמים את GPTBot של OpenAI ניגש לקובץ. אבל זה לא קורה לעתים קרובות.
מה המחקר על llms.txt מצא
יש llms.txt רק ב-10.13% מהדומיינים שנבדקו. כלומר, כתשעה מכל עשרה אתרים לא טרחו להוסיף אותו. השיעור כמעט אחיד בכל רמות התנועה. באתרים עם עד 100 ביקורים הוא 9.88%, ובאתרים עם 1,001 עד 5,000 ביקורים 10.54%. באתרים עם מעל 100 אלף ביקורים הוא עומד על 8.27% בלבד. במילים אחרות, האתרים הגדולים לא ממהרים לאמץ את הקובץ, ואפילו משתמשים בו קצת פחות מהבינוניים.
כדי לבדוק את הקשר לציטוטים, החוקרים מדדו כמה פעמים מודלי שפה מצטטים כל דומיין. את הנתון הזה הם השוו מול כמה משתנים, ובהם רמת התנועה וקיום הקובץ. הם השתמשו במבחן מתאם (Spearman) ובמודל למידת מכונה מסוג XGBoost. המודל הזה מנבא תוצאה לפי שקלול של גורמים רבים. בנוסף, הם הריצו ניתוח SHAP, שמראה כמה כל גורם תורם לתחזית.
התוצאה: אין מתאם. כשהחוקרים הוציאו את llms.txt מהמודל, הדיוק והאמינות שלו בנתוני הבדיקה עלו. המסקנה של החוקרים היא שהקובץ מוסיף רעש ולא מידע, לפחות בינתיים.
למחקר יש גם מגבלות שכדאי להכיר. SE Ranking לא פירטה אילו מודלי שפה היא דגמה. החוקרים עצמם מציינים שהתוצאות תקפות למודל ולנתונים שלהם. לדבריהם, התוצאות עשויות להשתנות אם יתווספו גורמים.
בנוסף, הממצאים לא חדשים לגמרי. Search Engine Journal דיווח על אותם נתונים כבר בנובמבר 2025. את הגרסה הנוכחית SE Ranking לא סימנה כעדכון. מה שהשתנה מאז הוא ש-Google אומרת היום את אותו הדבר, ובמפורש.
גם ב-Google אומרים: אין צורך
בדף ההנחיות של Google על תכונות ה-AI בחיפוש כתוב: ״אין צורך ליצור קבצים חדשים שמיועדים למכונות, קבצי טקסט ל-AI או סימון מיוחד כדי להופיע בתכונות האלה״. לפי Google, הדרישות להופעה ב-AI Overviews וב-AI Mode זהות לדרישות הרגילות. העמוד צריך להיות מאונדקס וזכאי להופיע בתוצאות עם קטע תיאור (snippet). Google גם לא דורשת נתונים מובנים מיוחדים.
ג׳ון מולר מ-Google חזר על המסר כמה פעמים השנה. ביוני כתב ב-Reddit שהשימוש בקובץ הוא בגדר ספקולציה בלבד. הוא הוסיף שאף שירות AI לא הודיע שהוא משתמש בו. בעבר הוא השווה אותו לתגית meta keywords הישנה. בתגית הזו בעל האתר פשוט מצהיר על מה האתר שלו.
פרק של הפודקאסט Search Off the Record מ-1 באוקטובר עסק במפות אתר. בפרק סיפר מולר שביומני השרת שלו סורקי AI ניגשים דווקא לקובץ ה-sitemap ולפידי ה-RSS. לדבריו, llms.txt לא יכול להחליף מפת אתר, כי חסר לו הפורמט המדויק שהמערכות צריכות. הוא הוסיף שהציפיות ממנו גדולות מהמציאות.
מה זה אומר עבורכם
- אל תשקיעו בזה תקציב. אם כבר יש לכם llms.txt, אין סיבה למחוק אותו, הוא לא מזיק. יש מי שמציע לכם חבילת אופטימיזציה ל-AI שהקובץ הוא הרכיב המרכזי בה? שאלו מה עוד היא כוללת.
- בדקו את robots.txt: ודאו שאתם לא חוסמים בטעות את Googlebot או את OAI-SearchBot של OpenAI. OpenAI ממליצה לאפשר את הסורק הזה. llms.txt לא גובר על הכללים ב-robots.txt.
- בדקו גם את ה-CDN וחומת האש. Google ממליצה לוודא שגם ספק האחסון או ה-CDN מאפשרים סריקה. כאן מתחבאות לא מעט חסימות שאף אחד לא שם לב אליהן.
- מפת אתר ו-RSS במקום הסטנדרטי. לפי מולר, סורקי AI בדרך כלל לא מאפשרים להגיש מפת אתר. לכן כדאי להשאיר אותה בכתובת sitemap.xml הרגילה. קשרו גם לפיד ה-RSS מתוך ה-head של העמודים.
- התוכן כטקסט, קישורים פנימיים ואינדוקס: אלה הדברים שמשפיעים בפועל. הריצו סריקה טכנית ובדקו שהעמודים החשובים שלכם נגישים ומחזירים קוד 200. ודאו גם שהם מאונדקסים ומקושרים מעמודים אחרים באתר.
- רוצים לחזור ליסודות? מה זה SEO, במדריך של HashtagMedia.
מה הלאה
אולי בעתיד אחת מפלטפורמות ה-AI תאמץ את llms.txt או תקן אחר, ואז התמונה תשתנה. עד אז, הדרך הטובה ביותר לדעת אם מודלים מצטטים את האתר שלכם היא לבדוק ישירות. שאלו את ChatGPT, את Perplexity ואת AI Mode את השאלות החשובות לעסק שלכם. אחר כך תעדו אילו מקורות הם מביאים, ואיך זה משתנה לאורך זמן.
מקורות והרחבה
- Does LLMs.txt impact your AI visibility and citations? No, according to researchSE Ranking
- AI features and your websiteGoogle Search Central
- Google's Mueller Says AI Crawlers Access Sitemaps, RSS In His LogsSearch Engine Journal
- Google's John Mueller: llms.txt is speculative, WebMCP and AI agentsTechWyse
- LLMs.txt Shows No Clear Effect On AI Citations, Based On 300k DomainsSearch Engine Journal
הכתבה נכתבה במקור בעברית על ידי מערכת GEEKLIK, על בסיס המקורות שלמעלה ובדיקת העובדות מולם.
מצאתם טעות? דווחו לנו
