robots.txt: מדריך שלם לקונפיגורציה

מה זה robots.txt ולמה הוא משמש?

ה-robots.txt הוא פשוט קובץ שמאוחסן בשורש האתר שלך שמאפשר לך למנוע מבוטים מסוימים (כמו של Google או של Bing) לבקר באתר שלך או בחלקים ממנו.

שים לב: חשוב לדעת שזה פרוטוקול וככלל כל הבוטים ה"טובים" מצייתים לו (GoogleBot, BingBot, Semrush, ...) אבל כל בוט עם כוונות רעות יכול לדלג עליו, כמו Screaming Frog על ידי סימון האפשרות הזו:

למה הקובץ robots.txt חשוב ל-SEO?

כפי שציינו קודם, כל הבוטים הטובים (כמו GoogleBot) מצייתים לפרוטוקול הזה אז מה שאנחנו יכולים לעשות זה להשתמש בקובץ הזה כדי להנחות את Google דרך האתר שלנו.

מה? למה אתה מתכוון? להנחות את Google עם robots.txt?

כן, אל דאגה, נסביר את זה עם דוגמה כדי שזה יהיה הרבה יותר ברור:

תאר לעצמך שבאתר שלך יש לך אזור פרטי שרק משתמשים רשומים יכולים לגשת אליו, וכפי שאנחנו יודעים היטב, Google לא יכולה לגשת לשום אתר שדורש התחברות (עדיין...).

אז, האם לא יהיה הגיוני ש-Google לא תבזבז את crawl budget שלנו על סריקת דפים שאין להם ערך עבורה?

בדיוק! אחד השימושים החשובים ביותר של robots.txt הוא לחסום נתיבים שיש להם מעט ערך עבור Google ובדרך זו לגרום לה להתמקד בדפים החשובים של האתר שלנו. מסיבה זו, robots.txt צריך להיות אחד העמודים שצריך לזכור בתוך אסטרטגיית ה-SEO שלנו.

זו רק דוגמה אחת מתוך אלפי הדברים שאנחנו יכולים לעשות עם הקובץ הזה. דוגמאות אחרות כוללות ציון ה-sitemap שלנו, הפחתת מרווח הסריקה, חסימת סריקה של משאבים, ...

איך ליצור את הקובץ robots.txt

ובכן... בוא נתחיל לעבוד!

יצירת הקובץ הזה ממש פשוטה, אתה רק צריך לתפוס את עורך הטקסט שלך (Notepad ב-Windows או TextEdit ב-Mac) או להשתמש באחד מקוון ולאחר ניסוח ה-robots.txt שלך, ייצא אותו כקובץ txt.

ברגע שיש לנו אותו, אנחנו רק צריכים לקרוא לו "robots.txt" ולהעלות אותו לשורש האתר שלך דרך פאנל השרת או דרך FTP.

כדי לבדוק אם הוא הועלה בהצלחה, אתה רק צריך להוסיף "/robots.txt" לדומיין שלך, למשל https://seocrawl.com/robots.txt

שים לב: היזהר עם המטמון, עדיף לצפות בו במצב גלישה בסתר ;)

מה אם יש לי WordPress?

אם יש לך WordPress זה פשוט יותר כי תוספי ה-SEO הטובים ביותר כמו Rank Math או Yoast מגיעים עם תוסף מובנה לעריכת robots.txt ישירות.

במקרה של Rank Math תמצא אותו תחת Rank Math > General Settings > Edit robots.txt

במקרה של Yoast נצטרך ללכת ל-SEO > Tools > File Editor

בדרך זו תוכל לערוך או ליצור את הקובץ בקלות מבלי לבצע אף אחד מהשלבים שהוסברו לעיל.

פקודות

למטה נסתכל על הרבה מהפקודות שזמינות לנו יחד עם הדוגמאות התואמות שלהן:

לחסום סריקה של האתר שלך

User-agent: * Disallow: /

הערה: אם אתה מפתח את האתר שלך ולא רוצה שאף בוט ייכנס, יקרא ויאנדקס את התוכן שלך, הכלל הזה עובד מצוין.

לחסום סריקה של דף

User-agent: * Disallow: /url-of-page-i-dont-want-crawled

לחסום סריקה של תיקייה

User-agent: * Disallow: /folder/

לאפשר גישה לדף

User-agent: * Allow: /page

לחסום תיקייה ולאפשר דף בתיקייה הזו

User-agent: * Disallow: /folder/ Allow: /folder/page

לציין את ה-sitemap

Sitemap: https://domain.com/sitemap.xml

לתת פקודות לבוטים ספציפיים

במקרה הזה נתעכב על זה קצת יותר. אם שמת לב, רוב ההנחיות הקודמות התחילו עם:

User-agent: *

ה-"*" מתייחס לכל הבוטים. כלומר, כל ההנחיות אחרי השורה הזו חלות על כל הבוטים. אם מה שאנחנו רוצים לעשות זה לשלוח פקודות ספציפיות לבוטים מסוימים, נצטרך לשנות את זה כך:

User-agent: Googlebot אם אנחנו רוצים להתייחס לבוט של Google

User-agent: Bingbot אם אנחנו רוצים להתייחס לבוט של Bing

User-agent: DuckDuckBot אם אנחנו רוצים להתייחס לבוט של DuckDuckGo

כל מה שאתה צריך לעשות זה לגלות איך נקרא הבוט שאתה רוצה לשלוח אליו פקודה ולקרוא לו כפי שהראינו לך.

בדוק ובחן את הקובץ robots.txt

עכשיו שסיימת "לכוונן" את ה-robots שלך כדי להשאיר אותו מותאם לחלוטין ומותאם אישית לאתר שלך, הדבר היחיד שנשאר זה לבחון אותו.

לבחון אותו? לשם מה?

ובכן, לבחון אותו כדי לוודא שלא דפקנו שום שורה ושזה באמת עובד כדי לחסום את החלקים של האתר שאנחנו רוצים לחסום.

לזה אנחנו ממליצים להשתמש בכלי הזה.

ברגע שאתה בפנים אתה רק צריך:

• ›

  להזין את ה-URL שאתה רוצה לבדוק האם סריקה מותרת

• ›

  לבחור את ה-User Agent

• ›

  ללחוץ TEST

מיד אחרי, כל הקובץ robots.txt שלנו ייטען ולמטה הוא יגיד לנו האם הגישה מותרת או לא.

במקרה הזה, כפי שאנחנו רואים, הוא נותן לנו תוצאה חיובית, אבל אם היינו מזינים URL שלא מותר, הוא היה גם מדגיש את השורה שחוסמת אותו:

בנוסף, הכלי הזה מאפשר לנו לערוך את הקובץ robots.txt שלנו ישירות משם כדי לבצע כל שינוי שאנחנו צריכים כדי שהתוצאה תתאים למטרה שלנו. ברגע שערכנו ובחנו, אנחנו רק צריכים ליישם את השינויים החדשים האלה ב-robots שלנו.

טיפ בונוס: הפוך את ה-robots.txt שלך לבלתי-נשכח

הראינו לך המון שורות קוד שעובדות עבור בוטים, אבל אתה גם יכול להוסיף תגובות על ידי התחלת השורה ב-"#". כלומר, כל דבר שמתחיל ב-"#" יתעלמו ממנו הבוטים. זה פותח עולם של אפשרויות ובדיחות פנימיות. מסיבה זו אנחנו מעודדים אותך לבדוק את ה-robots.txt של windupschool, pccomponentes או Minube, בטוח שתפגוש הפתעה ?

מסקנה

כפי שראית, הקובץ robots.txt יש לו הרבה מה להציע וגם דורש הרבה זהירות כי הנחיה ממוקמת בצורה לא נכונה יכולה לחסום את הסריקה של האתר שלך.

אנחנו מקווים שהמדריך הזה שימושי לך ועל כל שאלה, נתראה בתגובות.