robots.txt הוא קובץ טקסט שאומר לרובוטי הסריקה של מנועי החיפוש אילו חלקים באתר פתוחים לסריקה ומאילו דפים ותיקיות יש להתעלם. גוגל ומנועי החיפוש העיקריים לרוב יכבדו את ההנחיות המופיעות בקובץ robots.txt, בוטים מהסוג המרושע – לא בהכרח.

 

לא כל האתרים חייבים robots.txt ולקובץ השפעה ישירה על קידום האתר בגוגל. אבל במקרים מסוימים הוא יכול לעזור לייעל את תקציב הסריקה.

 

איך נראה קובץ robots.txt?

 

User-agent: [שם הרובוט]
Disallow: [התיקייה או דפי האתר שרוצים לחסום]
Sitemap: [כתובת מפת האתר]

קובצי robots.txt לדוגמה:

User-agent: *
Disallow: /

בדוגמה הזאת מנחים את כל רובוטי הסריקה לא לסרוק את כל הדפים באתר (כולל את דף הבית).

 

User-agent: Googlebot
Disallow: /folder/

כאן מנחים רק את רובוט הסריקה של גוגל לא לסרוק את כל כתובות ה-URL תחת התיקייה  הספציפית הזאת.

 

User-agent: *
Disallow:

כל רובוטי הסריקה יכולים לסרוק את כל דפי האתר, כולל קבצים ומשאבים.

 

איך לבנות קובץ robots.txt

robots.txt בוורדפרס

 

המלצות לשימוש נכון ב-robots.txt

רוב האתרים יכולים להסתדר בלי robots.txt, מכיוון שלרוב גוגל (ומנועי חיפוש אחרים) ידעו לסרוק ולאנדקס את כל התכנים החשובים באתר ולהתעלם מדפים ריקים או כפולים גם בלי הקובץ. אבל, יש כמה נסיבות שבהן אפשר להשתמש בקובץ robots.txt:

ניתן להשתמש בקובץ גם כדי למנוע סריקה של משאבים כמו סקריפטים, גיליונות סגנון ותמונות לא חשובות, בתנאי שחסימה שלהם לא תפגע בדרך שגוגל סורק את תוכן האתר ומבין אותו.

 

חשוב לציין שחסימה באמצעות קובץ רובוטס לא תמנע לחלוטין מדפי אתר להופיע בתוצאות החיפוש בגוגל, מכיוון שרובוט הסריקה של גוגל יכול לאנדקס דפים גם בלי לבקר בהם. לכן, אם רוצים להסתיר תוכן כלשהו ממנועי חיפוש, מומלץ להשתמש בחלופות אחרות כמו הוספת תגית noindex או הגנה באמצעות סיסמה. אבל אין לחסום דפים באמצעות noindex ו-robots.txt במקביל – החסימה באמצעות רובוטס תמנע מגוגל לראות את ההוראה לא לאנדקס את הדף.

 

אזהרות

robots.txt הוא כלי חשוב, אבל הוא גם כלי קיצוני. טעות הקלדה אחת יכולה להוביל למשבר SEO.

 

דוגמאות:

תרחיש 1:

רציתם לחסום את שאילתות החיפוש באתר והוספתם את הפקודה:

Disallow: /*q

התוצאה – חסמתם את כל הדפים שיש בהם q בכתובת ה-URL, כמו למשל:

/trivia-quiz/
/android-q/
/quinoa-recipes/

הפתרון – להוסיף את הסימן /

Disallow: /*q/

 

תרחיש 2:

חסמתם את הגישה לכל התמונות, הסקריפטים וגיליונות הסגנון.

התוצאה – מנעתם מגוגל לפענח את תוכן האתר ולהעריך את האיכות והרלוונטיות שלו ופגעתם בקידום שלו בגוגל.

הפתרון – לא לחסום משאבי JavaScript ו-CSS.

 

תרחיש 3:

חסמתם את הגישה לקובץ robots.txt בגלל שגיאת שרת.

התוצאה – גוגל עלול לא לסרוק את כל האתר.

הפתרון – לוודא שהקובץ נגיש ומחזיר סטטוס תקין (200) או סטטוס שגיאה (404).

 

איך לבדוק שגיאות בקובץ robots.txt?

דפים ספציפיים אפשר לבדוק באמצעות בודק robots.txt של גוגל.

אם ה-URL חסום באמצעות הקובץ, תופיע הודעת שגיאה ותצביע על הסיבה לחסימה.

כלי בדיקת robots.txt

 

כמו כן, שגיאות robots.txt יופיעו בדו"ח כיסוי ב-Google Search Console, ומומלץ לעקוב אחריהן מפעם לפעם.

דוח שגיאות robots.txt

הודעת השגיאה "נוסף לאינדקס, אך נחסם על ידי robots.txt" מציגה את הדפים שממשיכים להופיע בתוצאות החיפוש, למרות החסימה ב-robots.txt.

אם המטרה הייתה להסיר אותם מתוצאות החיפוש, יש להסיר את החסימה מ-robots.txt ולהוסיף להם תגית noindex.

אם הם נחסמו בטעות – יש להסיר את החסימה ולשלוח לגוגל בקשה לאימות התיקון.

 

עדכונים

מאז ספטמבר 2019 גוגל הפסיקו לתמוך במספר פקודות דרך robots.txt, בהן noindex, nofollow ואחרות. לקריאה על הידיעה: https://nekuda.co.il/google-ends-noindex-robots-txt/