Crawl Budget: מהו וכיצד לבצע אופטימיזציה

מהו ה-Crawl Budget?

ה-crawl budget הוא הזמן ש-Google מקדישה כשהיא מבקרת באתר. התקציב הזה משפיע על הדירוג והאינדקס של אתר, ולכן זה מפתח לשים לב ל-crawl budget של האתר שלנו. כדי להשיג crawl budget אופטימלי, עקרונות המפתח הם:

• ›

  נגישות

• ›

  מהירות

• ›

  איכות

• ›

  סמכות

מהו crawler?

Crawler הוא ה-spider או bot שאחראי לסרוק אתרים ואת ה-URLs שלהם באופן אוטומטי. ה-bot הזה אוגר ומסווג את התוכן שמוצג בהמשך בתוצאות החיפוש למשתמשים. הוא נקרא Googlebot, מאחר שאנחנו בספרד ואנחנו מדברים על העובדה שמנוע החיפוש החשוב ביותר הוא Google. כך, חיוני ש-Google תמצא את האתר שלך ותדע שאתה קיים.

איך ה-Crawl Budget משפיע על האתר שלי?

crawl budget מאופטם יקדם מיצוב טוב יותר של האתר שלך במנועי חיפוש. בנוסף לעזרה באינדוקס נכון של כל הדפים החשובים. אנחנו לא יכולים לשכוח את ה-crawl budget באסטרטגיית הקידום ב-SEO, כי הזמן ש-Google משקיעה בהכרת האתר שלנו הוא חשוב מאוד.

איך זה עובד?

ה-spiders של Google סורקים את האתר שלך, ואם ה-crawl budget קטן ייתכן שהם יעזבו את האתר שלך מבלי לסרוק את כל התוכן החדש. הם מקצים את התקציב על בסיס שני גורמים:

• ›

  גבול הסריקה (Crawl limit): מציין את הסריקה המקסימלית שאתר תומך בה ומה ההעדפות.

• ›

  דרישת הסריקה (Crawl demand): מציינת את התדירות שבה האתר צריך להיסרק על סמך הפופולריות של האתר והתדירות שבה הוא מתעדכן.

האם אתה יודע באיזו תדירות האתר שלך נסרק?

הודות ל-Google Search Console אנחנו יכולים לראות את סטטיסטיקות הסריקה עבור שלושת החודשים האחרונים. בהן אנחנו יכולים לראות את הדפים שהיא סורקת ביום, את הקילובייטים שהורדו ביום, ואת זמן ההורדה של דף במילישניות. הנתונים הם בעלי ממוצע שמסווג כ-גבוה, נורמלי ונמוך. הנתונים האלו מאוד אילוסטרטיביים אם ניקח בחשבון את המספר הכולל של דפים באתר שלנו ואת נתוני הסריקה הממוצעים ביום. בעזרתם נוכל לדעת אם אנחנו בתוך הנורמה או, מצד שני, אם אנחנו צריכים לשפר את ה-crawl budget.

האם crawl budget קטן יותר מזיק?

ל-crawl budget קטן יותר יש חסרונות:

• ›

  קושי לתוכן לדרג מהר, מאחר ש-Google לא יודעת שהוא קיים ולכן לא סורקת או מאנדקסת אותו.

• ›

  אזורים מרוחקים מהאתר יהיו אזורים עדינים אם ה-crawl budget קטן. ל-bot לא יהיה זמן לעבור על הדפים או הקטעים הרחוקים יותר באתר.

• ›

  אופטימיזציות SEO On-page שבוצעו לא ייסרקו, ולכן השיפורים לא יהיו גלויים.

• ›

  אם אתר אחר מאנדקס ומדרג את אותו תוכן לפני האתר שלנו, Google עלולה לזהות שהעתקנו את התוכן ולהעניש אותנו על כך.

• ›

  crawl budget גדול לא מבטיח כלום אם לא נבצע לו אופטימיזציה נכונה.

מהי ההתנהגות של ה-spiders?

כדי לדעת אילו דפים Google מבקרת ובאילו היא משקיעה את הזמן שלה לסריקה, והאם הם תואמים או לא להעדפות שלנו במונחים של מיצוב SEO, עלינו להתייעץ עם המידע שמסופק על ידי הלוגים.

לוגים הם בקשות לשרת שמאוחסנות ושאנחנו יכולים לגשת אליהן כדי לדעת מה Googlebot מבקר ומה לא. ייצוא וארגון של המסמך הזה יכול להיות קל יותר עם ScreamingFrog Log File Analyser.

איך לבצע אופטימיזציה של ה-Crawl Budget שלנו?

אנחנו חייבים להיות ברורים לגבי ה-URLs המרכזיים שלנו, למיצוב web ולעסק, כדי לגרום להם להיות הכי נסרקים. אין טעם להשקיע את ה-crawl budget בדפים שאינם חשובים באמת, כמו דפים עם פרמטרים, paginations וכו'.

יהיה זה קריטי לא לסבול מבעיות duplicate content, או URLs שמקנבלים את אותה מילת מפתח. תוכן באיכות נמוכה גם הוא מזיק כי bots יבזבזו זמן לעבור עליו.

כדי לבצע אופטימיזציה, עלינו להדגיש את התחומים הבאים:

WPO (Web Performance Optimization)

בצע אופטימיזציה של מהירות הטעינה או WPO כך ש-Google לא תיקח יותר מדי זמן לסרוק את האתר שלך. Google אוהבת קוד נקי ואת הכי פחות קבצים שאפשר כדי להקל על הטעינה ולהשיג חוויית משתמש אופטימלית בגלישה.

אל תשכח:

• ›

  להפחית ולדחוס קבצי CSS ו-JS

• ›

  לשים לב למשקל ולגודל של תמונות, ולציין את הגודל שלהן

• ›

  לבחור Nginx כשרת כדי לשפר את המיצוב דרך caching.

קישורים והפניות מחדש

ה-bot הולך לסרוק את כל התוכן באתר שלך, והוא גם הולך לעקוב אחר כל קישור בכל דף. כדי לתמוך בסריקה נכונה, עליך לקחת בחשבון:

• ›

  עליך להימנע מהפניות מחדש מיותרות, מכיוון ש-Google יאבד בהן.

• ›

  שרשראות הפניה מחדש הן הפניות של URLs רבים שיגרמו ל-Google לאבד את עצמה בהן מבלי להגיע ל-URLs היעד.

• ›קישורים שבורים (דפים מקושרים עם סטטוס 404 not found) בקישוריות פנימית.

Screaming Frog ו-Search Console יהיו בעלי הברית המיוחדים שלנו בזיהוי הפניות פגומות וכל מיני URLs עם שגיאות.

קישוריות פנימית

קישוריות פנימית תהיה קריטית לטפל בה כדי לא להגזים בקישור ולגרום ל-bots לאבד את עצמם בסריקת ה-URLs.

• ›עלינו לחזק את האזורים החשובים ביותר ולהשאיר את הפחות חשובים פחות מקושרים. מסיבה זו, יהיו דפים כמו מדיניות הפרטיות או דף הקובצי הקיוקי שלא יהיה נוח לקשר אותם בכל דף מהתפריט הראשי או מה-footer.

קוד

• ›מומלץ לכלול HTML ככל האפשר, כדי להקל על הסריקה והאינדקס ל-bots. ידוע ש-Google מעבדת ומאנדקסת דפים עם JavaScript בקושי.

XML Sitemap

ה-sitemap הוא אחד הקבצים היסודיים עבור Google כי הוא מבטיח את הסריקה והאינדקס הנכונים של אתר.

• ›

  ככל שיותר מאורגן יותר טוב. ארגן את ה-sitemap לפי vertical או תיקיות.

• ›

  ציין שם שמתאר את מה שהוא מכיל. הימנע משמות גנריים מדי כמו "sitemap 1"

• ›

  sitemap לתמונות, סרטונים, ולפי שפה.

• ›

  ה-URLs שאתה כולל צריכים תמיד להיות החשובים ביותר, אז אל תכלול דפים עם הפניות מחדש, ללא תיוג קנוני, דפים עם פילטרים, paginations וכו'. בנוסף, אל תכלול דפים שאינם רלוונטיים מאוד, כמו מדיניות פרטיות או cookies.

Robots txt

יחד עם ה-sitemap, קובץ ה-robots.txt הוא אחד מקבצי המפתח באינדקס ובסריקה של אתר. אז, אל תשכח לבצע לו אופטימיזציה ככל האפשר:

• ›

  הפניית ה-XML sitemap כדי להקל על הסריקה ככל האפשר.

• ›

  אל תחסום תיקיות חשובות. לשם כך, אתה יכול לנסות את Search Console robots.txt tester ולבדוק אם אתה חוסם או לא תיקייה או דף חשובים.

• ›

  אל תחסום דפים עם הפניות מחדש או canonical

• ›

  אפשר גישה ל-JS ול-CSS

תגי Hreflang

• ›התכונות המלאות האלו יעזרו ל-Google לזהות באילו שפות ובכמה האתר זמין.

Metarobots noindex ו-X-Robots-Tag

ההנחיות האלו אומרות ל-bot אילו דפים או תיקיות לא צריכים להיות מאונדקסים, אבל הם לא מונעים גישת crawl.

• ›

  תגים עם הנחיית metarobots "noindex" צורכים crawl budget, אז חיוני לא להגזים בשימוש בהם.

• ›

  ה-header X-Robots נכלל ב-header ברמת הקוד ויכול לציין מספר הנחיות ל-Google, כולל לא לאנדקס את הדף.

מקורות שנעזרנו בהם:

• ›

  José Facchin: What is the crawl Budget, how important is it for Google and how can you improve it?

• ›

  SEOCOM Agency: What is the Crawl Budget?

• ›

  Big SEO Agency: What is the Crawl Budget? Keys to optimize it

• ›

  ContentKing: Crawl budget in SEO: reference guide

• ›

  Mi posicionamiento web: What is the Crawl Budget?

• ›

  Luis Villanueva: What is the Crawl Budget?

• ›

  Neil Patel: How to Use Google's Crawl Budget to Improve Your Website's SEO

• ›

  Search Engine Journal: 7 tips to optimize Crawl Budget for SEO

• ›

  Webmasters Google Blog: What crawl Budget means for Googlebot?

• ›

  DeepCrawl: What is crawl budget?