תגית noindex – איך לחסום תוכן מהאינדקס של גוגל?
noindex היא תגית מטא שתפקידה להנחות את גוגל (ומנועי חיפוש אחרים) להתעלם מהדף, לא לכלול אותו באינדקס האתרים ולא להציג אותו בתוצאות החיפוש. אם אתם רוצים שגוגל גם לא יעקבו אחרי הקישורים המופיעים באותם דפים, אפשר להוסיף גם את התגית nofollow.
מתי להשתמש בתגית noindex?
יש דפי אתר שלא צריכים להופיע בתוצאות החיפוש מכל מיני סיבות:
- תוכן כפול – כשיש גרסה נוספת של אותו דף ולא רוצים שגוגל יאנדקסו את שתי הגרסאות. למשל, כשיש גרסה להדפסה או קובץ PDF עם תוכן זהה.
- תוכן דליל – למשל, דפי כותב, דפי תגיות, קטגוריות ודומיהם שאין להם תפקיד בקידום האתר בגוגל. כנ"ל לגבי דפי תודה המשמשים לאישור הרשמה או קנייה באתר, דפי הרשמה וכניסה למערכת.
- דפי תבנית – כמו Hello World שנוצר אוטומטית בכל אתר וורדפרס.
- דפי בדיקה – כולל דפים שנמצאים בשלבי הפיתוח.
- תוצאות חיפוש פנימיות – כל מה שהמבקרים מחפשים באתר ועלול להתחרות בדף הנחיתה הייעודי.
- דפי תוצאות ופילטרים פנימיים באתרי קניות – כלומר, הדפים שמגיעים אליהם אחרי שהמשתמשים השתמשו בהרבה אפשרויות סינון וחיתוך כדי להגיע למוצר המבוקש. למשל, הדף שמציג מעילים לנשים במידה 38 בצבעים חום, שחור או אפור בטווח מחירים שבין 200 ל-500 שקלים. לרוב מומלץ לא לאנדקס דפי תוצאות ספציפיים ומותאמים אישית, ולהסתפק בעד 2–3 פילטרים, תלוי בתחום.
איך להוסיף את התגית noindex?
- באמצעות הוספת תגית Meta Robots
את תגית המטא יש להוסיף לחלק ה-head של הדף שרוצים לחסום:
כדי לחסום את הדף מאינדוקס ומסריקה של הקישורים:
<html><head>
<meta name="robots" content="noindex, nofollow">
כדי לחסום את הדף מאינדוקס אבל לאפשר לגוגל לסרוק את הקישורים בדף:
<meta name="robots" content="noindex, follow">
כדי לחסום את הדף רק ממנוע החיפוש של גוגל:
<meta name="googlebot" content="noindex">
- באמצעות הוספת כותרת של תגובת http
להציג את הכותרת X-Robots-Tag: noindex בתגובת http בדרך הזאת:
HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)
- דרך התוסף Yoast SEO
באתרי וורדפרס אפשר להוסיף את התגיות noindex ו-nofollow דרך התוסף Yoast SEO בחלק מתקדם:
לא לאפשר למנועי חיפוש להציג פוסט בתוצאות החיפוש = noindex
לא לאפשר למנועי חיפוש לעקוב אחרי הקישורים בפוסט = nofollow
בנוסף, אפשר להוסיף את התגית noindex באופן גורף לסוגי תוכן מסוימים, למשל דפי תגיות וקטגוריות, דרך תצוגת חיפוש > סוג התוכן > טקסונומיות:
טעויות נפוצות
- לחסום חסימה כפולה באמצעות robots.txt ו-noindex
כדי שגוגל יכבדו את ההוראה לא לאנדקס דף כלשהו, הגישה אל הדף צריכה להיות פתוחה ואין לחסום אותה באמצעות קובץ robots.txt. אם הדף חסום על ידי robots.txt, רובוט הסריקה לא יראה את התגית noindex, והדף עדיין יכול להופיע בתוצאות החיפוש.
- להניח שנואינדקס ימנע את בזבוז תקציב הסריקה
התגית noindex מונעת מהדף להיכלל באינדקס של גוגל ולהופיע בתוצאות החיפוש – אבל היא לא מונעת ממנו להיסרק, מהסיבה הפשוטה שכדי שגוגל יגיעו לתגית הם קודם כול סורקים את הדף.
- להסיר את כל האתר מהאינדקס
זה נשמע מובן מאליו, אבל הטעות הזאת נפוצה למדי. כשמעלים אתר חדש או מחודש לאוויר חשוב לוודא שהתגית נואינדקס הוסרה מכל דפי האתר, אחרת האתר לא יופיע בתוצאות החיפוש.
מעקב ותיקון שגיאות noindex ב-Search Console
הדו"ח "כיסוי" ב-Search Console מציג שתי בעיות נפוצות הקשורות לתגית נואינדקס:
- כתובת האתר שנשלחה סומנה כ-noindex
השגיאה הזאת מופיעה כשבדפים שנשלחו לאינדקס (דרך מפת האתר או בהוספה ידנית לאינדקס) נמצאה תגית noindex.
יש שני תרחישים ופתרונות:
אם אתם רוצים שהדפים יופיעו בתוצאות החיפוש – יש להסיר את התגית noindex ולשלוח מחדש.
אם לא – מומלץ להסיר את הדפים ממפת האתר.
- הדף לא נוסף לאינדקס בגלל התג noindex
השגיאה הזאת מופיעה כשגוגל הגיעו אל דפים באתר (דרך קישורים פנימיים או חיצוניים) המסומנים ב-noindex.
אם אתם לא רוצים שהדפים יופיעו בגוגל – הכול בסדר, אפשר להתעלם מהשגיאה.
אם אתם רוצים שהדפים יופיעו בגוגל – להסיר את התגית נואינדקס ולשלוח לאינדוקס מחדש.
