מנועי החיפוש מבוססי בינה מלאכותית כמו Preplexity, ChatGPT, Claude ואחרים מעבדים מידע בדרך שונה ממנועי חיפוש מסורתיים כמו גוגל. כדי לקדם את האתר גם במערכות בינה מלאכותית צריך להתאים את האתר גם מההיבט הטכני. בעמוד הזה נציג את העקרונות המרכזיים של אופטימיזציה טכנית למנועי חיפוש מבוססי AI.
ההבדלים העיקריים בין מנועי חיפוש "מסורתיים" למנועי AI
מהירות ופשטות: רוב מערכות ה-AI מחכות רק 1–5 שניות לטעינת עמוד. אתרים איטיים ייחתכו או פשוט ייחסמו.
תוכן נקי ומובנה: בניגוד לגוגל, רוב מערכות ה-AI לא מצליחות להתמודד עם JavaScript ויעדיפו HTML פשוט ומאורגן.
מטא-דאטה וסמנטיקה: כותרות ברורות, תיאורים ותאריכים יעזרו למערכות AI להבין את מהות התוכן במהירות.
אופטימיזציית אתר ל-AI – עקרונות מרכזיים
התאמת קובץ robots.txt
יש להבחין בין זחלנים האוספים מידע לחיפוש ובין כאלה האוספים נתונים לאימון מודלים. ככלל, מומלץ לאפשר לקובץ robots.txt גישה פתוחה ככל האפשר לחיפוש AI (למשל: ChatGPT-User, PerplexityBot) אבל לחסום בוטים המשמשים לאיסוף מידע למטרות אימון (למשל:GPTBot ).
קובץ לדוגמה:
# ——————————
# הרשאה למנועי חיפוש רגילים
# ——————————
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
User-agent: DuckDuckBot
Allow: /
User-agent: Yandex
Allow: /
# ——————————
# הרשאה למנועי חיפוש מבוססי AI
# ——————————
User-agent: PerplexityBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: YouBot
Allow: /
User-agent: andi-scraper
Allow: /
User-agent: QuoraBot
Allow: /
# ——————————
# חסימת בוטים לאימון מודלי בינה מלאכותית
# ——————————
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: MetaBot
Disallow: /
User-agent: facebookexternalhit
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Grokbot
Disallow: /
User-agent: TeslaBot
Disallow: /
כמו כן, מומלץ להימנע מחומות אש ומערכות הגנה אגרסיביות מדי, שכן הן עלולות לחסום גם בוטים לגיטימיים.
שיפור המהירות
- תוכן האתר צריך להיטען מהר ככל האפשר. אידיאלית – בתוך פחות משנייה.
- את המידע החשוב יש להציג ב-html בראש העמוד.
המלצות נוספות לשיפור מהירות האתר
מטא-דאטה וסימונים סמנטיים
- תגיות מטא בסיסיות כמו אלה המשמשות ל-SEO: Meta Title, Meta Description ו-Meta Keywords.
- תגיות OpenGraph המשמשות לשיתוף ברשתות חברתיות (og:title, og:image, og:url וכן הלאה).
- אלמנטים סמנטיים כגון <article>, <section> וכדומה.
מבנה התוכן
- מומלץ להימנע מכפתורים לקריאה נוספת או מפיצול תכנים למספר עמודים.
- יש להשתמש בכותרות היררכיות (מ-H1 לכותרת ראשית ועד ל-H6.
- יש להגדיר את תאריך הפרסום והעדכון של התוכן.
המלצות נוספות
- מומלץ ליצור קובץ txt למטרות תיעוד ולמידע נוסף.
- להכין מפת אתר xml ולקשר אליה מקובץ txt.
- להשתמש ב-favicon ובתמונה ראשית, מכיוון שהאייקון של האתר מופיע בתשובות שמייצרת הבינה המלאכותית.
- להימנע מפופ-אפים או כפתורי הרשמה העלולים להפריע ל-AI להגיע לתוכן הרלוונטי.
- לעקוב בקביעות אחרי הנוכחות של האתר במנועי חיפוש מבוססי AI ולשפר בהתאם.
צ'קליסט ל-SEO טכני ל-AI
- תוכן קריא ונגיש באמצעות html והיררכיה מסודרת.
- קובץ robots.txt המאפשר לזחלני AI לגשת לתוכן.
- מהירות טעינה גבוהה, המידע החשוב צריך להופיע מיד.
- שימוש בסימון סמנטי, תגי מטא ונתונים מובנים (schema).
- קובץ llms.txt לתיעוד ולמידע עזר.
- בדיקות נראות בכלי AI.
לסיכום, ההתאמה לחיפוש מבוסס AI היא תהליך מתמשך. נכון לעכשיו, 34% מהבקשות של זחלני AI מחזירות עמודי שגיאה, ורק חלק מהמערכות מצליחות לעבד JavaScript. אבל ככל שהטכנולוגיה משתפרת, גם ההשקעה באופטימיזציה ל-AI תשתלם.
