Excluded by 'noindex' tag: מה זה אומר ואיך מתקנים את זה
פתחתם את Google Search Console, ראיתם קבוצת כתובות URL שמסומנות "Excluded by 'noindex' tag", ועכשיו הדפים האלה בלתי נראים בחיפוש.
אם זיהיתם קבוצת כתובות URL שמסומנות "Excluded by 'noindex' tag" ב-Google Search Console, הדפים שלכם מוחזקים בכוונה מחוץ לאינדקס של Google, והתיקון בדרך כלל פשוט יותר ממה שנראה: מוצאים את ההנחיה, מסירים אותה ומבקשים מ-Google לסרוק שוב.
המדריך הזה מסביר בדיוק מה מפעיל את הסטטוס הזה, איך לאתר את הנחיית ה-noindex שגורמת לו, ואת הצעדים המדויקים להסרתה בכל מערכות ניהול התוכן המרכזיות, כדי שהדפים שלכם יוכלו לדרג שוב. אותה בדיקה רצה אוטומטית ב-Crawler של SEOcrawl AI, שמסמן הנחיות noindex בכל האתר בלי לבדוק כתובת אחר כתובת.
מה המשמעות של "Excluded by 'noindex' tag" ב-Google Search Console?
הסטטוס "Excluded by 'noindex' tag" פירושו ש-Googlebot סרק את הדף שלכם, מצא הנחיית noindex וכיבד אותה כשהשאיר את הדף מחוץ לאינדקס של Google. הדף לא יופיע בתוצאות החיפוש כל עוד ההנחיה נשארת.
היכן הסטטוס הזה מופיע ב-GSC
בדוח Coverage הישן (שהוחלף בדוח Page indexing בשנת 2022), הסטטוס הזה הופיע תחת "Excluded". בדוח Page indexing הנוכחי (Indexing › Pages), תמצאו אותו תחת "Not indexed", בטבלה "Why pages aren't indexed", עם הסיבה "Excluded by 'noindex' tag". Google מקבץ את כל הכתובות המושפעות תחת התווית הזו כדי שתוכלו לייצא ולסקור אותן בבת אחת.
איך Google מגלה ומכבד את הנחיית ה-noindex
התיעוד של Google בנושא חסימת אינדוקס באמצעות noindex מתאר שתי דרכי העברה: תג <meta name="robots" content="noindex"> באזור ה-<head> של ה-HTML של הדף, או הנחיית X-Robots-Tag: noindex בכותרות תגובת ה-HTTP. כש-Googlebot נתקל באחת מהן, הוא מסיר את הדף מהאינדקס לחלוטין, גם אם הדף היה מאונדקס קודם לכן. ליסודות של התג עצמו, עיינו במדריך שלנו על תג ה-meta noindex.
האם זו תמיד בעיה? כשההחרגה מכוונת
לא כל כתובת עם "Excluded by 'noindex' tag" היא שגיאה. דפי ניהול, מסכי התחברות, תהליכי עגלה ותשלום, דפי תודה ותוצאות חיפוש פנימי מוחזקים בכוונה מחוץ לאינדקס של Google. אם הדפים האלה מציגים את הסטטוס הזה, המערכת עובדת כמתוכנן. הבעיה האמיתית מתחילה כשדפים שאתם רוצים שידרגו נושאים את התווית הזו.
סיבות נפוצות לסטטוס "Excluded by 'noindex' tag"
הנחיית noindex יכולה להגיע לדף שלכם דרך כמה ערוצים שונים. הידיעה איזה מהם פעיל באתר שלכם קובעת את התיקון.
תג meta robots עם "noindex" באזור ה-<head>
המקור הנפוץ ביותר. שורה כמו <meta name="robots" content="noindex"> ב-HTML של הדף אומרת ל-Googlebot לא לאנדקס אותו. היא יכולה להיות כתובה ישירות בתבנית או מוזרקת באופן דינמי על ידי CMS, תוסף או פונקציה של ערכת העיצוב.
X-Robots-Tag בכותרות תגובת ה-HTTP
ה-X-Robots-Tag פועל בדיוק כמו תג ה-meta, אבל הוא נמצא בכותרת תגובת ה-HTTP ולא ב-HTML. תצורות שרת, כללי CDN או הנחיות .htaccess יכולים להוסיף אותו. לדוגמה:
Header set X-Robots-Tag "noindex"
זה משפיע על כל קובץ שתואם לכלל, כולל קובצי PDF ותמונות שאין להם אזור <head> של HTML. בעלי אתרים רבים מתעלמים לגמרי מהערוץ הזה, כי ההנחיה לא נראית בקוד המקור של הדף.
הגדרות CMS שחוסמות אינדוקס בטעות
ב-WordPress יש תיבת סימון תחת Settings › Reading בשם "Discourage search engines from indexing this site". כשהיא מסומנת, WordPress מוסיף תג robots noindex לכל דף באתר. בעלי אתרים רבים מפעילים אותה בזמן הפיתוח ושוכחים לבטל את הסימון אחרי ההשקה.
Shopify יכולה להחיל noindex דרך קוד ערכת העיצוב או אפליקציות. חלק מדפי החשבון והמערכת Shopify עצמה מחזיקה מחוץ לאינדקס, וזה נכון, אבל עריכה של ערכת העיצוב או אפליקציית SEO עלולות להוסיף noindex בטעות לדפי מוצר, קולקציה או בלוג.
Wix מחילה noindex על כל דף שהגדרות ה-SEO שלו מונעות ממנועי חיפוש לאנדקס אותו. גורם נפוץ הוא שכפול דף, שבו העותק יורש את הגדרת ה-noindex של המקור בלי ששמים לב.
התנגשויות בין תוספים או ערכות עיצוב שמוסיפות noindex
תוספי SEO מאפשרים להגדיר noindex לכל פוסט, דף או סוג תוכן. כלל גלובלי שהוגדר לא נכון, עדכון תוסף שמאפס הגדרות או ערכת עיצוב שדורסת את הנחיות התוסף יכולים להפיץ noindex לעשרות דפים בבת אחת. אם עדכנתם לאחרונה תוסף או החלפתם ערכת עיצוב, בדקו את זה קודם.
הגדרות של סביבת staging שעלו לאתר החי
מקור נפוץ להפתיע של תגי noindex בטעות. אתר ה-staging שלכם משתמש ב-noindex כדי להישאר מחוץ ל-Google. כשתהליך הפריסה מעביר את תצורת ה-staging לאתר החי, הנחיית ה-noindex עוברת יחד איתה. זה בדרך כלל משפיע על חלקים שלמים של האתר בבת אחת וזו אחת הסיבות הקשות ביותר לאבחון אם בודקים רק דפים בודדים.
איך מאבחנים אילו דפים מושפעים
תהליך אבחון שניתן לחזור עליו תופס את כל הכתובות המושפעות בלי ניחושים. התחילו ב-Search Console כדי לקבל את הרשימה, ואז רדו לרמת הדף הבודד כדי למצוא את המקור.
שימוש בדוח Page indexing לייצוא הכתובות המושפעות
פתחו את Google Search Console ועברו אל Indexing › Pages. לחצו על "Excluded by 'noindex' tag" בטבלה "Why pages aren't indexed". Search Console מציג מדגם של הכתובות המושפעות; השתמשו בכפתור Export כדי להוריד את הרשימה לעיבוד.
בדיקת כתובת בודדת בכלי URL Inspection
הדביקו כל כתובת URL בשורת החיפוש בראש Search Console. הכלי URL Inspection מראה אם Google ראה הנחיית noindex והיכן מצא אותה: תחת "Indexing allowed?" הוא מדווח אם ה-noindex הגיע מתג ה-meta robots או מכותרת ה-HTTP מסוג X-Robots-Tag. לחצו על View crawled page כדי לראות את ה-HTML המדויק ש-Googlebot קיבל. זו הבדיקה המהירה ביותר שקיימת לדף בודד.
בדיקת קוד המקור של הדף לאיתור תגי meta עם noindex
פתחו את הדף בדפדפן, לחצו לחיצה ימנית ובחרו View page source, ואז חפשו "noindex" (Ctrl+F או Cmd+F). אם מצאתם <meta name="robots" content="noindex"> או משהו דומה, תג ה-meta הוא האשם. אם לא מצאתם אותו בקוד המקור, ייתכן שההנחיה מגיעה מכותרת ה-HTTP.
שימוש ב-DevTools של הדפדפן לבדיקת כותרות HTTP
פתחו את DevTools (F12, או לחיצה ימנית › Inspect), עברו ללשונית Network, טענו מחדש את הדף ולחצו על הבקשה של המסמך הראשי. חפשו X-Robots-Tag: noindex באזור Response Headers. זו הדרך היחידה בתוך הדפדפן לתפוס הנחיות noindex שמגיעות בכותרת ולא מופיעות ב-HTML.
סריקת האתר עם Screaming Frog או SEOcrawl AI
לאבחון של האתר כולו, סורק תופס כל דף מושפע במעבר אחד. Screaming Frog SEO Spider יכול לסנן דפים לפי יכולת אינדוקס, על בסיס תגי meta וכותרות. ה-Crawler של SEOcrawl AI סורק כל דף, מסמן כל דף עם הנחיית noindex תחת Indexability ומחזיר Audit Health Score, כך שאתם רואים את ההיקף המלא בלי לייצא ולסנן ידנית.
איך מתקנים "Excluded by 'noindex' tag": צעד אחר צעד
זה החלק המעשי ביותר. בצעו את התיקון שמתאים לאבחון שלכם מהחלק הקודם.
הסרת תג ה-meta noindex מקוד הדף
ערכו את תבנית הדף או את התוכן כדי להסיר את <meta name="robots" content="noindex"> מאזור ה-<head> של ה-HTML. באתרים שנבנו בהתאמה אישית, בדקו ישירות את קובצי התבנית. אם התג מוזרק על ידי JavaScript, מצאו את הסקריפט האחראי והסירו אותו או הוסיפו לו תנאי.
לפני:
<meta name="robots" content="noindex">
אחרי:
<meta name="robots" content="index, follow">
או פשוט הסירו את התג לגמרי. Google מתייחס להיעדר הנחיית noindex כאל "אינדוקס מותר".
תיקון ה-X-Robots-Tag בתצורת השרת או ה-CDN
בדקו את קובץ ה-.htaccess (Apache), את nginx.conf (Nginx) או את כללי ה-CDN לאיתור הנחיות X-Robots-Tag: noindex. הסירו אותן, או הגבילו אותן לנתיבים הספציפיים שצריכים להיות מוחרגים במקום לדפים שאתם רוצים לאנדקס. לדוגמה, אפשר להשאיר noindex על /staging/ ולהסיר אותו מ-/blog/.
איך מתקנים ב-WordPress
שתי בדיקות, לפי הסדר:
- הגדרה ברמת האתר: עברו אל Settings › Reading ובטלו את הסימון של "Discourage search engines from indexing this site". זו הסיבה הנפוצה ביותר לבעיות noindex ברמת האתר כולו ב-WordPress.
- הגדרות לכל דף בתוספי SEO:
- Yoast SEO: פתחו את הפוסט או הדף, גללו לתיבת ה-meta של Yoast, לחצו על הלשונית Advanced והגדירו את "Allow search engines to show this content in search results?" ל-"Yes".
- Rank Math: פתחו את הפוסט, עברו לתיבת ה-meta של Rank Math, לחצו על הלשונית Advanced והגדירו את "Robots Meta" ל-"Index".
- All in One SEO: ערכו את הפוסט, פתחו את הלשונית Advanced בהגדרות AIOSEO וודאו ש-"No Index" אינו מסומן בהגדרות ה-robots.
בדקו גם את ההגדרות הגלובליות של כל תוסף, למקרה שסוגי תוכן שלמים (תגיות, קטגוריות, סוגי פוסטים מותאמים) מוגדרים כ-noindex. לשאר ההגדרות של WordPress, עיינו במדריך שלנו על חיבור WordPress ל-Google Search Console.
איך מתקנים ב-Shopify
ב-Shopify, ה-noindex מגיע בדרך כלל מקוד ערכת העיצוב או מאפליקציה. פתחו את Online Store › Themes › Edit code וחפשו ב-theme.liquid ובתבניות הדפים תג meta robots עם noindex. לאחר מכן בדקו באפליקציות ה-SEO שלכם כללים שמסתירים מוצרים, קולקציות או פוסטים בבלוג, וכל מוצר או דף שמשתמש בשדה המטא seo.hidden. דפי חשבון ודפי מערכת אחרים Shopify מחזיקה מחוץ לאינדקס, וכך הם צריכים להישאר.
איך מתקנים ב-Wix, ב-Squarespace ובבוני אתרים אחרים
Wix: פתחו את SEO settings של הדף (מתפריט הדף) והפעילו את "Let search engines index this page". אם שכפלתם דף, ייתכן שהעותק ירש הגדרת noindex מהמקור.
Squarespace: בדקו בהגדרות ה-SEO של האתר כולו אם יש אפשרות שמסתירה את האתר ממנועי חיפוש. לדפים בודדים, פתחו את הגדרות הדף וחפשו את "Hide page from search results" בלשונית SEO. Squarespace גם מחזיקה כברירת מחדל חלק מדפי המערכת, כמו העגלה, מחוץ לתוצאות החיפוש.
אחרי התיקון: בקשת אינדוקס מחדש ב-Google Search Console
הסרת תג ה-noindex אומרת ל-Google שהוא יכול לאנדקס את הדף, אבל עדיין צריך ש-Googlebot יסרוק אותו מחדש כדי לאשר את השינוי.
שימוש בכלי URL Inspection לבקשת אינדוקס
הדביקו את הכתובת המתוקנת בשורת החיפוש של Search Console. לחצו על Test live URL כדי לאשר שהאינדוקס מותר כעת, ואז לחצו על Request indexing. Google יכניס את הכתובת לתור לסריקה מחדש. אפשר לשלוח כך כמה כתובות, אבל Search Console מגביל את מספר הבקשות ליום.
כמה זמן לוקח ל-Google לאנדקס דף מחדש?
בדרך כלל בין כמה ימים לכמה שבועות, בהתאם לתדירות שבה Googlebot סורק את האתר שלכם. אתרים עם תנועה גבוהה שמתעדכנים לעיתים קרובות נסרקים מחדש מהר יותר; אתרים חדשים או עם מעט תנועה עשויים לחכות שבועות. בקשת אינדוקס היא האות המהיר ביותר שאפשר לשלוח, אבל היא לא ערובה: היא מכניסה את הכתובת לתור הסריקה, ולא מכריחה סריקה מיידית.
שליחת מפת אתר XML מעודכנת כדי לזרז את הסריקה
אם תיקנתם דפים רבים בבת אחת, שלחו מפת אתר XML מעודכנת באזור Sitemaps של Search Console. זה מאותת שהאתר שלכם השתנה ומעודד סריקה רחבה יותר. מפת אתר נקייה בלי כתובות עם noindex גם מונעת שליחת אותות סותרים, כפי שנסביר בהמשך.
מתי כדאי להשאיר את תג ה-noindex (החרגות מכוונות)
לא כל תג noindex צריך להסיר. יש דפים שלעולם לא אמורים להופיע בתוצאות החיפוש, ואינדוקס שלהם מוסיף דפים דלים או כפולים לתמונה ש-Google רואה של האתר שלכם ומבזבז תשומת לב של סריקה.
דפים שלעולם לא אמורים להיות מאונדקסים
- דפי התחברות והרשמה
- דפי עגלה, תשלום ואישור הזמנה
- דפי תוצאות חיפוש פנימי (כדי למנוע תוכן כפול)
- דפי תודה (מגנטים ללידים, שליחת טפסים)
- דפי ניהול ו-backend
- סביבות staging ופיתוח
- דפי סינון ופרמטרים שיוצרים כתובות כפולות
noindex מול robots.txt: ההבדלים המרכזיים
robots.txt חוסם סריקה. noindex מאפשר סריקה אבל חוסם אינדוקס. אם תחסמו דף ב-robots.txt, Googlebot לעולם לא יקרא אותו, כלומר הוא גם לעולם לא יראה את תג ה-noindex. אם אתם רוצים להוציא דף מהאינדקס, השתמשו ב-noindex. אם אתם רוצים ש-Googlebot ידלג על הדף לגמרי (כדי לחסוך ב-תקציב סריקה), השתמשו ב-robots.txt.
טעות נפוצה: שימוש ב-robots.txt כדי לחסום דף שכבר מאונדקס. Google לא יכול לראות את תג ה-noindex אם הוא לא יכול לסרוק את הדף, ולכן הכתובת עלולה להישאר באינדקס עם כותרת וקטע תיאור לא מעודכנים. הגישה הנכונה היא לאפשר סריקה ולהשתמש ב-noindex כדי להסיר את הדף מהאינדקס.
תגי canonical מול noindex: בחירת ההנחיה הנכונה
תג canonical (rel="canonical") אומר ל-Google "הדף הזה הוא עותק של כתובת אחרת, דרג אותה במקומו". תג noindex אומר ל-Google "אל תאנדקס את הדף הזה בכלל". יש להם מטרות שונות:
- השתמשו ב-canonical כשיש לכם תוכן כפול או כמעט כפול ואתם רוצים לרכז את אותות הדירוג בכתובת אחת.
- השתמשו ב-noindex כשהדף לא אמור להופיע בתוצאות החיפוש בשום מצב.
שילוב של שניהם באותו דף שולח אותות סותרים: האחד אומר "מזג את הדף הזה לכתובת אחרת", והשני אומר "השמט אותו". בחרו את זה שמתאים למה שאתם רוצים.
איך למנוע תגי noindex בטעות בעתיד
תיקון בעיות noindex אחרי שהן קורות הוא הכרחי, אבל מניעה חוסכת שעות של אבחון ותנועה שאבדה.
הגדרת התראות ב-Search Console על ירידה באינדוקס
Google Search Console שולח הודעות אימייל לבעלים ולמשתמשים מאומתים כשהוא מזהה בעיות אינדוקס חדשות בנכס. ודאו שהתראות האימייל מופעלות בהעדפות האימייל של Search Console. אם מספר הדפים המאונדקסים יורד פתאום, ההתראה נותנת לכם יתרון זמן לפני שהתנועה יורדת בעקבותיו.
הוספת בדיקות noindex לרשימת ה-QA לפני השקה
לפני פריסה של כל אתר או העברת staging לאתר החי, בדקו אם יש הנחיות noindex. בדיקה של 30 שניות עם "View page source" וחיפוש של "noindex" תופסת את טעות הפריסה הנפוצה ביותר. באתרים גדולים יותר, סרקו לפני הפריסה ואחריה והשוו את מספר הדפים עם noindex. הוסיפו את זה לצ'קליסט ה-SEO הטכני שלכם כדי שאף אחד לא ידלג על זה.
סריקות מתוזמנות לאיתור הנחיות noindex סוררות
הריצו סריקה מלאה לפי לוח זמנים, וגם אחרי כל עדכון תוסף, החלפת ערכת עיצוב או הגירה, כדי לתפוס תגי noindex סוררים לפני שהם עולים לכם בתנועה. ה-Crawler של SEOcrawl AI מאפשר להשוות בין סריקות, כך שאתם רואים אילו דפים קיבלו noindex ומתי, ו-SEO Monitor מתריע ברגע שאחד מהדפים המרכזיים שלכם מקבל תג noindex.
שאלות נפוצות
מה המשמעות של "Excluded by 'noindex' tag" ב-Google Search Console?
המשמעות היא ש-Google מצא בדף שלכם הנחיית noindex וכיבד אותה, ולכן הדף לא יופיע בתוצאות החיפוש. הסטטוס מופיע בדוח Page indexing של Search Console, תחת "Not indexed".
זו לא תמיד שגיאה: דפים שאתם מחריגים בכוונה, כמו דפי התחברות או תשלום, אמורים להציג את הסטטוס הזה.
איך מתקנים "Excluded by 'noindex' tag" ב-WordPress?
בודקים שני מקומות, לפי הסדר. קודם כול, עוברים אל Settings › Reading ומוודאים שהאפשרות "Discourage search engines from indexing this site" אינה מסומנת. לאחר מכן פותחים כל פוסט או דף מושפע בתוסף ה-SEO שלכם (Yoast, Rank Math, All in One SEO) ומוודאים שהגדרת ה-robots של הדף מאפשרת אינדוקס.
כמה זמן לוקח ל-Google לאנדקס דף אחרי הסרת noindex?
בדרך כלל בין כמה ימים לכמה שבועות, בהתאם לתדירות שבה Googlebot סורק את האתר שלכם. אחרי הסרת ההנחיה, בקשו אינדוקס באמצעות הכלי URL Inspection ושלחו מפת אתר XML מעודכנת כדי לזרז את התהליך. אתרים עם תנועה גבוהה נסרקים מחדש מהר יותר מאתרים חדשים או כאלה עם מעט תנועה.
האם דף יכול להיות מוחרג בגלל noindex גם אם הוא נמצא במפת האתר שלי?
כן. הנחיית noindex גוברת על הכללה במפת האתר. Google עשוי להמשיך לסרוק את הכתובת ממפת האתר, אבל לא יאנדקס אותה כל עוד ה-noindex קיים.
אפשר להסיר את ה-noindex כדי שהדף יאונדקס, או להסיר את הכתובת ממפת האתר אם ההחרגה מכוונת. הכללת כתובות עם noindex במפת אתר שולחת אותות סותרים.
מה ההבדל בין noindex לבין חסימת דף ב-robots.txt?
robots.txt חוסם את Googlebot מלסרוק את הדף; noindex מאפשר סריקה אבל מונע אינדוקס. אם תחסמו דף באמצעות robots.txt, Google לא יוכל לקרוא את תג ה-noindex, ולכן דף שכבר אונדקס עלול להישאר באינדקס עם תוכן לא מעודכן. השתמשו ב-noindex כדי להסיר דף מהאינדקס, וב-robots.txt רק כשאתם רוצים למנוע סריקה לחלוטין.
איך בודקים אם לדף יש תג noindex?
שלוש שיטות, מהמהירה ועד היסודית: השתמשו בכלי URL Inspection ב-Search Console, הציגו את קוד המקור של הדף וחפשו "noindex" (Ctrl+F), או בדקו את כותרות תגובת ה-HTTP בכלי DevTools של הדפדפן (לשונית Network, חפשו X-Robots-Tag). רק הכלי URL Inspection ו-DevTools מזהים noindex שנשלח בכותרת.
האם כדאי לדאוג אם דפים רבים מציגים "Excluded by 'noindex' tag"?
רק אם הדפים האלה אמורים להיות מאונדקסים. ייצאו את הרשימה מ-Search Console, השוו אותה להחרגות המכוונות שלכם (התחברות, עגלה, ניהול, דפי תודה) ותקנו רק את הדפים שאמורים לדרג בחיפוש. אם כל דף מושפע הוא דף שהחרגתם בכוונה, הסטטוס עובד כמו שצריך.
מאת: David Kaufmann
במהלך 10+ השנים האחרונות הייתי מרותק לחלוטין ל-SEO — ולמען האמת, לא הייתי רוצה את זה אחרת.
הקריירה שלי עלתה לרמה חדשה כשעבדתי כמומחה SEO בכיר ב-Chess.com — אחד מ-100 האתרים המבוקרים ביותר באינטרנט. עבודה בקנה מידה כזה לימדה אותי מה ששום קורס או תעודה לא יכלו ללמד.
מהניסיון הזה הקמתי את SEO Alive — סוכנות למותגים שרציניים לגבי צמיחה אורגנית. ומכיוון שלא מצאתי כלי שמטפל גם בעולם הקלאסי וגם בעידן ה-AI כראוי, בניתי את SEOcrawl AI. אם אתה מחפש שותף SEO מנוסה שאוהב את התחום — אשמח לשמוע ממך!
גלה תוכן נוסף של מחבר זה
