קובץ llms.txt הוא תוספת חדשה לעולם ה-SEO ל-AI. קובץ הטקסט מיועד לעזור למודלי בינה מלאכותית לזהות תוכן רלוונטי, ואפשר להשתמש בו כדי לשפר את החשיפה בכלים כמו ChatGPT, Claude ואחרים.
מה זה llms.txt?
llms.txt הוא קובץ טקסט פשוט המספק למודלי AI רשימה של כתובות URL באתר שבהן יש תוכן מקיף ומובנה. בניגוד לקובץ robots.txt, המשמש לחסימה או להגבלת גישה לתוכן באתר, קובץ llms.txt מכוון את כלי הבינה המלאכותית לעמודי אתר ספציפיים.
הקובץ משמש כמעין מפת אתר ייעודית עבור מודלי שפה גדולים. מכיוון שהמודלים האלה יכולים לעבד רק כמות מוגבלת של טקסט בו-זמנית, מטרת הקובץ היא לעזור להם למצוא את התוכן הרלוונטי ביותר לשאילתות החיפוש של המשתמשים.
התקן הוצע על ידי ג'רמי הווארד מחברת Answer.AI בספטמבר 2024. נכון למועד כתיבת שורות אלה, חברות ה-AI הגדולות עדיין לא מיישמות את תקן llms.txt בסריקות הרשת שלהן.
מה ההבדל בין קובץ llms.txt, robots.txt ומפת אתר?
llms.txt – קובץ טקסט פשוט המשמש להנחיית כלי AI ליצירת תשובות ומוביל לכתובות URL ספציפיות.
robots.txt – קובץ טקסט המשמש להגבלת גישה לרובוטי סריקה ולחסימת עמודים או תיקיות ספציפיות מפניהם.
sitemap.xml – קובץ xml הכולל רשימת כתובות URL באתר ומגדיר את סדרי עדיפויות לסריקה.
למה בכלל צריך קובץ llms.txt?
מודלי בינה מלאכותית מניעים כיום מגוון פלטפורמות חיפוש – מסקירות ה-AI של גוגל ועד חיפושים בצ'אטבוטים כמו ChatGPT, Gemini ו-Claude ומנועי חיפוש מבוססי AI כמו Perplexity. כשהמודלים האלה מחפשים מידע באתרי אינטרנט, גורמים כמו מבנה אתר לא ברור, עמודים יתומים (ללא קישורים פנימיים) או מוסתרים בעומק האתר, עלולים למנוע מהם למצוא את התוכן הרלוונטי ביותר לשאילתות המשתמשים. llms.txt מציע פתרון לבעיה הזאת בכך שמכוון את מודלי ה-AI לעמודי האתר הרלוונטיים ביותר לשאילתה הנתונה.
איזה תוכן לכלול בקובץ?
מומלץ לכלול תכנים מקיפים ומובנים שיעמדו גם בקריטריונים האלה:
- היררכיית כותרות ברורה (מ-H1 ועד H3).
- פסקאות קצרות ונוחות לסריקה.
- שילוב רשימות, רשימות ממוספרות וטבלאות.
- תקציר התוכן בראש העמוד.
- ללא פרסומות חוסמות או חלונות קופצים.
- שילוב ביטויים כמו: "בשורה התחתונה…", "המסקנה העיקרית…".
מומלץ לעמוד בפיתוי ולהימנע מלהכניס את כל כתובות האתר לקובץ. במקום זאת, מומלץ להתמקד בתכנים הבאים:
- תכנים רלוונטיים ועדכניים העונים על שאילתות משתמשים נפוצות.
- עמודים המדגישים את הסמכותיות, הניסיון והמקצועיות של האתר.
- מדריכים בעלי ערך, מקורות מידע ועמודי תווך.
לרוב גם אין צורך לכלול את עמוד הבית, אלא אם כן הוא מכיל מידע בעל ערך ונוח לסריקה. אם עמוד הבית משמש מעין שלט פרסומת לחברה או לאתר, אפשר לדלג עליו ולהתמקד בתכנים המקיפים במקום.
איך לבנות קובץ llms.txt?
- למקם בדומיין הראשי (שורש הדומיין) בכתובת https://example.com/llms.txt/.
- לכלול כתובת URL אחת בכל שורה.
- לבנות באמצעות markdown ולא XML או JSON (לפי התקן שהוצע).
- חשוב: הקובץ צריך להישמר בשם txt ולא llm.txt.
מבנה הקובץ:
כותרת H1 הנפתחת בסימן # וכוללת את שם האתר או הפרויקט.
מבנה הקישורים: כותרת, קישור (כתובת URL) ותיאור (רכיב אופציונלי).
רכיבים אופציונליים:
- blockquote (>) המכיל תקציר או הקשר של הקישורים שיפורטו בהמשך.
- סימונים סטנדרטיים לחלקי תוכן (פסקאות, רשימות וכדומה).
- כותרות H2 (##) עבור קטגוריות של קישורים.
לסיכום, llms.txt הוא כלי המאפשר לכם לתקשר עם מודלי ה-AI ולהבליט את התכנים הרלוונטיים ביותר. הוא אומנם לא מבטיח שתוכן האתר יוצג בשאילתות חיפוש, אבל הוא משפר את הסיכויים שהוא יימצא ויצוטט.
צריכים עזרה בהטמעת קובץ llms.txt או ביישום אופטימיזציה ל-AI – צרו איתנו קשר לייעוץ מקצועי.
