Crawled – currently not indexed: מה זה אומר ואיך מתקנים
Google ביקר בכתובת שלכם, קרא אותה והשאיר אותה מחוץ לחיפוש. הנה איך מזהים אילו דפים ראויים להזדמנות שנייה, ומה Google ממליץ לעשות כדי להחזיר אותם לאינדקס.
Crawled – currently not indexed (נסרק – כרגע לא מאונדקס) אומר ש-Googlebot שלף את הדף שלכם והחליט לא להוסיף אותו לאינדקס של Google, ולכן הוא לא יכול להופיע בחיפוש. העזרה של דוח Page indexing מנסחת את זה כך: הדף נסרק אבל לא אונדקס, והוא "עשוי להיות מאונדקס בעתיד, ועשוי שלא".
הסיבה היא בדרך כלל הדף עצמו, לא חסימה טכנית. בהמשך תראו איך להחליט, כתובת אחר כתובת, אם לתקן, להוסיף noindex או למחוק כל דף, וכמה זמן לוקח תיקון לפי Google. הדוח חדש לכם? התחילו עם המדריך ל-Google Search Console.
מה המשמעות של "Crawled – currently not indexed"?
הסטטוס אומר ש-Google סרק את הדף ובחר לא לאנדקס אותו. שום דבר לא חסם את Googlebot: Google החליט להשאיר את הדף בחוץ לעת עתה. שתי הבחנות יעזרו לכם לקרוא את הסטטוס נכון.
נסרק לעומת מאונדקס
סריקה היא הורדה של הדף על ידי Googlebot. אינדוקס הוא השמירה שלו אצל Google כדי שיוכל להופיע בחיפושים. דף יכול להיסרק פעמים רבות ועדיין לעולם לא להיות מאונדקס.
העזרה של כלי URL Inspection אומרת שאיכות הדף חייבת להיות "גבוהה מספיק כדי להצדיק אינדוקס", והבדיקה החיה שלו בכלל לא יכולה לזהות את הסטטוס הזה.
במה זה שונה מ-"Discovered – currently not indexed"
Discovered – currently not indexed (התגלה – כרגע לא מאונדקס) מגיע שלב אחד קודם: Google מצא את הכתובת אבל דחה את הסריקה כדי לא להעמיס על האתר שלכם, ולכן תאריך הסריקה האחרונה ריק.
| Discovered – currently not indexed | Crawled – currently not indexed | |
|---|---|---|
| נסרק על ידי Google? | לא | כן |
| תאריך סריקה אחרונה | ריק | תאריך |
| הסיבה הנפוצה | הסריקה נדחתה כדי לא להעמיס על האתר | Google קרא את הדף ודילג עליו |
| מה בודקים קודם | קיבולת סריקה, באתרים גדולים מאוד | איכות תוכן, כפילויות, canonical |
Google גם אומר: "דף שלא אונדקס הוא לא בהכרח דבר רע". דפים עם noindex, כתובות שחסומות ב-robots.txt, כפילויות ודפי 404 בלי תחליף אמורים להישאר בחוץ.
למה Google סורק דפים בלי לאנדקס אותם
לאינדוקס יש רף איכות שאין לסריקה. המדריך של Google לתקציב סריקה אומר שהביקוש לסריקה עולה עם הערך והייחודיות של התוכן שלכם.
רוב הכתובות המושפעות נופלות תחת אחת מהסיבות האלה, ולכל אחת יש בדיקה ראשונה:
- תוכן דל או לא מקורי: הדף חוזר על מה שכבר מדורג.
- כפילויות: ארכיוני תגיות, כתובות ממוינות, שני פוסטים על אותו נושא. הנה איך לזהות ולתקן קניבליזציה של מילות מפתח.
- התנגשויות canonical: השוו את ה-canonical שהצהרתם עליו לזה ש-Google בחר. כש-Google בוחר כתובת אחרת, הדף עובר בדרך כלל ל-Alternate page with proper canonical tag או לסטטוס של כפילות.
- Soft 404 ושרשראות הפניה: לפי Google, דפי soft 404 מבזבזים תקציב סריקה.
- תקציב סריקה: הוא משנה לאתרים עם יותר מ-1,000,000 דפים שמשתנים כל שבוע או יותר מ-10,000 שמשתנים כל יום. ברוב האתרים הוא לא הסיבה.
הרף עלה בשני שלבים מתוארכים. ב-18 באוגוסט 2022 הכריז Google על עדכון התוכן המועיל, אות ברמת האתר כולו, ואמר שהסרת תוכן לא מועיל יכולה לעזור לשאר האתר. ב-5 במרץ 2024 הכריז Google על עדכון ליבה שמטרתו להציג פחות תוכן שנוצר כדי למשוך קליקים, יחד עם מדיניות ספאם חדשה נגד ניצול לרעה של תוכן בקנה מידה גדול.
ההנחיות של Google לתוכן מועיל אומרות ש-E-E-A-T אינו גורם דירוג ספציפי, שאמינות היא החשובה ביותר, ושאין מספר מילים מועדף. ריפוד הדף לא יתקן אותו.
איך מוצאים ומאבחנים דפים מושפעים ב-GSC
פתחו את דוח Page indexing (לשעבר Coverage), בדקו מדגם, ואז קבצו את הרשימה לפי דפוס. Google מציין שאתרים עם פחות מ-500 דפים כנראה לא צריכים את הדוח.
מציאת הכתובות המושפעות בדוח Pages
- ב-Google Search Console, עברו אל Indexing › Pages.
- בטבלה "Why pages aren't indexed", לחצו על Crawled – currently not indexed.
- לחצו על Export והורידו את הרשימה.
הדוח מציג עד 1,000 כתובות לדוגמה, ולא בהכרח את כולן, כך שבאתר גדול הייצוא הוא מדגם.
בדיקת דפים עם כלי URL Inspection
בדקו חמש עד עשר כתובות מהייצוא כדי לראות את תאריך הסריקה האחרונה ואת ה-Google-selected canonical. canonical שמצביע למקום אחר אומר ש-Google רואה כפילות; תאריך סריקה בן כמה חודשים מרמז ש-Google כמעט לא חוזר.
זיהוי דפוסים במאות כתובות
מיינו את הייצוא לפי תיקייה, תבנית ופרמטר URL, ואז ספרו כל קבוצה. נניח ש-300 כתובות מתחלקות ל-180 דפי /tag/, 70 כתובות ?sort= ו-50 פוסטים: אלה שלוש החלטות, לא 300.
לתקן, להוסיף noindex או למחוק: החליטו מה כל כתובת מקבלת
לכל כתובת מגיעה אחת מארבע תוצאות. שאלו: האם מי שמחפש ישמח לנחות כאן, והאם זה הדף היחיד באתר שלכם שעונה על השאילתה?
| סוג הדף | דוגמה | החלטה | איך |
|---|---|---|---|
| מועיל וייחודי, אבל דל | מדריך של 300 מילים על נושא שאתם מכירים | לשפר | להוסיף עומק ופרטים מניסיון אישי |
| משכפל דף חזק יותר | שני פוסטים על אותה שאילתה | למזג | להעביר את התוכן, ואז הפניית 301 |
| מועיל באתר, לא בחיפוש | ארכיוני תגיות, חיפוש פנימי, דפי תודה | Noindex | תג meta robots או X-Robots-Tag |
| בלי ערך, בלי תחליף | מבצעים שפגו, דפי בדיקה | למחוק | להחזיר 404 או 410 |
המדריך של Google לתקציב סריקה תומך בשתי השורות האחרונות: להחזיר 404 או 410 לדפים שהוסרו ולאחד כפילויות. 404 ב-Search Console הוא דבר צפוי לדפים שהסרתם בכוונה.
noindex הוא המקום שבו המיון משתבש הכי הרבה:
לא כך: תג noindex בדפי /tag/ בזמן ש-robots.txt חוסם את /tag/. Googlebot לא יכול לשלוף את הדפים, ולכן הוא אף פעם לא רואה את התג.
אלא כך: /tag/ נשאר נגיש לסריקה ונושא את ה-noindex כתג meta או ככותרת X-Robots-Tag.
לפי התיעוד של Google על noindex, הכלל לא עובד בתוך robots.txt, ובדפים שמבקרים בהם לעיתים רחוקות הסריקה מחדש יכולה לקחת חודשים. ברגע שהתג נקרא, הכתובות האלה עוברות ל-Excluded by 'noindex' tag, וזה בדיוק מה שאתם רוצים עבורן.
איך מתקנים את הדפים ששווה לאנדקס
קודם הפכו את הדף לראוי לאינדוקס, ורק אז ספרו ל-Google. בקשת אינדוקס לדף שלא השתנה מבקשת מ-Google לחזור על החלטה שכבר קיבל. הסדר:
- שפרו את התוכן.
- אחדו כפילויות ותקנו canonical.
- הוסיפו קישורים פנימיים.
- שלחו מפת אתר ממוקדת ובקשו אינדוקס.
שפרו את עומק התוכן ואת המקוריות שלו
כתבו מחדש מול השאילתה, לא מול מספר מילים: הוסיפו נתונים משלכם, צילומי מסך, דוגמה מעשית ותשובה ישירה בראש הדף.
לדוגמה, קחו מדריך דל של 300 מילים: הוסיפו מערך נתונים מניסיון אישי ודוגמה מעשית, קשרו אליו משני פוסטים שכבר מקבלים תנועה, ורק אז הוסיפו אותו למפת אתר ממוקדת.
אחדו כפילויות ותקנו canonical
כששתי כתובות עוסקות באותו דבר, השאירו אחת, העבירו אליה את התוכן המועיל והפנו עם 301 את השנייה ישירות אליה, בלי שרשרת. אחר כך ודאו שה-canonical, מפת האתר והקישורים הפנימיים מסכימים, ושלא נשאר שום noindex תועה.
הוסיפו קישורים פנימיים מדפים ש-Google כבר מעריך
קשרו לכל דף מתוקן מדפים מאונדקסים שמקבלים תנועה, עם טקסט עוגן תיאורי. כל סורק אתרים יכול להציג דפים יתומים (אפס קישורים פנימיים) על ידי סינון של אפס קישורים נכנסים. השיטה המלאה נמצאת במדריך אסטרטגיית קישורים פנימיים.
בדקו גם את הדף בטלפון ובדוח Core Web Vitals: דף שבור במובייל הוא סיבה שקל לשלול מהר.
שלחו מפת אתר ממוקדת ובקשו אינדוקס
בנו מפת אתר שמכילה רק את הכתובות שתיקנתם, שלחו אותה, וסננו לפיה את דוח Pages לפני שאתם לוחצים על Validate fix. Google ממליץ על זה כדי לזרז את האימות. אם אתם צריכים קודם את הקובץ הנוכחי, מצאו את מפת האתר שלכם.
Google מתעלם מ-priority ומ-changefreq, אז במקום זאת שמרו על lastmod מדויק. אחר כך לחצו על Request indexing בכלי URL Inspection עבור הכתובות בעדיפות גבוהה: Google מפעיל מכסה ואומר שבקשות חוזרות לא מזרזות את התהליך.
כמה זמן לוקח אינדוקס אחרי תיקון?
צפו ליום עד כמה שבועות, ואינדוקס אף פעם אינו מובטח. Google נותן טווחים שונים בדפים שונים, אז הנה הם זה לצד זה:
| מה עשיתם | מה Google אומר | מקור |
|---|---|---|
| ביקשתם מ-Google לסרוק מחדש | מכמה ימים עד כמה שבועות | Ask Google to recrawl |
| Request indexing | בדרך כלל יום בערך, עד שבוע או שבועיים, עם מגבלה יומית | עזרה ל-URL Inspection |
| Validate fix | עד כשבועיים, לפעמים הרבה יותר | עזרה ל-Page indexing |
אלה לוחות הזמנים של Google, לא מקרי התאוששות. בדקו את דוח Pages כל שבוע; אם הכתובות שתיקנתם לא זזו אחרי שהטווחים האלה עברו, חזרו לתוכן.
איך מונעים מדפים חדשים להגיע לסטטוס הזה
מניעה היא שגרה: בדקו כל דף לפני שהוא עולה לאוויר, ועברו על Search Console כל חודש. לפני הפרסום, ודאו שהדף:
- עונה על שאילתה שאף דף אחר באתר שלכם לא עונה עליה.
- מוסיף נתונים, דוגמאות או ניסיון משלכם.
- כולל canonical שמפנה לעצמו ואין בו noindex תועה.
- נמצא במפת האתר עם lastmod מדויק.
- יש לו כותב עם שם, ונתונים מובנים היכן שזה רלוונטי.
- מקבל קישור מדף קשור ומאונדקס.
פעם בחודש, השוו את דוח Pages לחודש הקודם; בעיה נשארת ברשימה 90 יום אחרי שהמופע האחרון שלה נעלם. אתרים עם יותר מאלף דפים צריכים לעקוב גם אחרי דוח Crawl Stats.
SEOcrawl AI מטפל בצד הטכני בקנה מידה גדול. ה-Crawler סורק כל דף ומחזיר Audit Health Score, עם בעיות שמחולקות לפי Indexability, Crawlability, On-Page ועוד. תצוגת Indexation שלו מקבצת את הכתובות שלכם לפי מצב הכיסוי ב-Search Console, כך שתוכלו לראות כמה מהן נמצאות ב-"Crawled – currently not indexed" ולעקוב אחרי המספר לאורך זמן.
בין סריקה לסריקה, SEO Monitor מתריע כשדף חשוב מקבל noindex, משנה את ה-canonical שלו, מחזיר 404 או יוצא ממפת האתר. אותה פלטפורמה עוקבת אחרי הנראות של המותג שלכם ב-ChatGPT, Claude, Gemini, Perplexity ו-Copilot, כך ש-SEO ו-GEO נמצאים יחד.
שאלות נפוצות
מה המשמעות של "Crawled – currently not indexed"?
המשמעות היא ש-Googlebot שלף את הדף שלכם והחליט לא להוסיף אותו לאינדקס של Google, ולכן הוא לא יכול להופיע בחיפוש. שום דבר לא חסם את הסריקה: Google קרא את הדף ובחר להשאיר אותו בחוץ לעת עתה. זה לא עונש ידני, והדף אולי יאונדקס בעתיד ואולי לא.
האם זה אותו דבר כמו "Discovered – currently not indexed"?
לא. "Discovered" אומר ש-Google מכיר את הכתובת אבל דחה את הסריקה, ולכן תאריך הסריקה האחרונה ריק. "Crawled" אומר ש-Google כבר ביקר בדף וקרא אותו, ואז החליט לא לאנדקס אותו. ב-Discovered בדקו את קיבולת הסריקה באתרים גדולים מאוד; ב-Crawled בדקו את איכות התוכן, כפילויות ו-canonical.
האם "Crawled – currently not indexed" פוגע ב-SEO שלי?
לא כשלעצמו: הסטטוס אינו עונש, והדף המושפע מפסיד רק את תנועת החיפוש שלו. הסיכון הוא בכמות, כי Google מתייחס לנתח גדול של תוכן לא מועיל כאות ברמת האתר כולו. ארכיון תגיות מחוץ לאינדקס לא עולה לכם כלום; דף מוצר כן. אם המספר עולה בכל פעם שאתם מפרסמים, התייחסו לזה כבעיית תוכן ברמת האתר, ולא כרשימה של כתובות בודדות.
כמה זמן לוקח לדף להיות מאונדקס אחרי תיקון?
צפו לטווח של יום עד כמה שבועות, ואינדוקס אף פעם אינו מובטח. לפי Google, סריקה מחדש לוקחת מכמה ימים עד כמה שבועות, Request indexing מעובד בדרך כלל תוך יום בערך אבל יכול לקחת שבוע או שבועיים, ו-Validate fix נמשך בדרך כלל עד כשבועיים.
האם בקשת אינדוקס עוזרת?
רק אחרי שמשנים את הדף. בקשת אינדוקס לדף שלא השתנה מבקשת מ-Google לחזור על החלטה שכבר קיבל. הבקשות כפופות למכסה יומית, ו-Google אומר ששליחת אותה כתובת כמה פעמים לא מזרזת שום דבר.
האם הוספת הדף למפת האתר XML עוזרת?
היא עוזרת ל-Google למצוא כתובת, לא לאנדקס אותה. Google מכנה מפת אתר שנשלחה "רמז בלבד", והדפים האלה כבר נמצאו ונקראו. אחרי תיקון, התפקיד של מפת האתר הוא לקבץ את הכתובות שאתם רוצים שייבדקו מחדש. כל קובץ מפת אתר מכיל עד 50,000 כתובות או 50 MB.
למה האימות של "Crawled – currently not indexed" נכשל?
האימות נעצר ברגע ש-Google מוצא כתובת אחת בקבוצה שעדיין לא תוקנה, כך שדף אחד שנשאר יכול להכשיל את כל הקבוצה. תקנו כל כתובת בקבוצה, או צמצמו את הקבוצה על ידי סינון הדוח לפי מפת אתר שמכילה רק את הכתובות שתיקנתם, ואז אמתו שוב.
איך SEOcrawl AI עוזר עם דפים ש-Google סורק אבל לא מאנדקס?
SEOcrawl AI מאתר את הסיבות שבתוך האתר שעומדות מאחורי הסטטוס. ה-Crawler מציג לכל כתובת את ציון הבריאות, קוד הסטטוס של HTTP ועומק הסריקה, כך שתזהו דפים ש-Google מתקשה להגיע אליהם. תצוגת Indexation מקבצת את הכתובות שלכם לפי מצב הכיסוי ב-Search Console, ו-SEO Monitor מתריע כשדף חשוב מקבל noindex, משנה את ה-canonical שלו, מחזיר 404 או יוצא ממפת האתר.
מאת: David Kaufmann
במהלך 10+ השנים האחרונות הייתי מרותק לחלוטין ל-SEO — ולמען האמת, לא הייתי רוצה את זה אחרת.
הקריירה שלי עלתה לרמה חדשה כשעבדתי כמומחה SEO בכיר ב-Chess.com — אחד מ-100 האתרים המבוקרים ביותר באינטרנט. עבודה בקנה מידה כזה לימדה אותי מה ששום קורס או תעודה לא יכלו ללמד.
מהניסיון הזה הקמתי את SEO Alive — סוכנות למותגים שרציניים לגבי צמיחה אורגנית. ומכיוון שלא מצאתי כלי שמטפל גם בעולם הקלאסי וגם בעידן ה-AI כראוי, בניתי את SEOcrawl AI. אם אתה מחפש שותף SEO מנוסה שאוהב את התחום — אשמח לשמוע ממך!
גלה תוכן נוסף של מחבר זה
