ما هي ميزانية الزحف وكيف نحسّنها

ما هي ميزانية الزحف؟

Crawl budget هو الزمن الذي تخصصه Google لزيارة موقعك. تؤثر هذه الميزانية على ترتيب الموقع وفهرسته، ولهذا السبب يُعد إيلاء الاهتمام لميزانية زحف موقعنا أمرًا جوهريًا. والمبادئ الأساسية لتحقيق ميزانية زحف مثلى هي التالية.

• ›

  إمكانية الوصول

• ›

  السرعة

• ›

  الجودة

• ›

  السلطة

ما هو الـ crawler؟

الـ crawler هو spider أو bot يقوم تلقائيًا بـ crawl للمواقع وعناوين URL الخاصة بها. يخزّن هذا الـ bot المحتوى ويصنّفه ليعرضه لاحقًا على المستخدمين في نتائج البحث. وبما أننا في إسبانيا ونتحدث عن أهم محرك بحث وهو Google، فإننا نسمي ذلك Googlebot. لذا فمن المهم جدًا أن تعثر Google على موقعك وتعرف بوجوده.

كيف تؤثر ميزانية الزحف على موقعي؟

تساعد ميزانية الزحف المحسّنة على رفع مستوى تموضع موقعك في محركات البحث بشكل أفضل. كما تساعد على فهرسة جميع الصفحات المهمة بشكل صحيح. الزمن الذي تستثمره Google في التعرف على موقعنا بالغ الأهمية، لذلك يجب ألا ننسى ميزانية الزحف ضمن استراتيجية تموضع SEO.

كيف تعمل؟

يقوم spider الخاص بـ Google بزحف موقعك، وإذا كانت ميزانية الزحف صغيرة، فقد يغادر الموقع دون أن يتمكن من زحف كل المحتوى الجديد. تخصص Google الميزانية بناءً على عاملين.

• ›

  حد الزحف (Crawl limit): يشير إلى الحد الأقصى لما يمكن للموقع تحمّله من زحف وإلى إعداداته.

• ›

  طلب الزحف (Crawl demand): يشير إلى مدى الحاجة لزحف الموقع بناءً على شهرته ووتيرة تحديثه.

هل تعرف عدد مرات زحف موقعك؟

بفضل Google Search Console يمكنك الاطلاع على إحصاءات الزحف خلال آخر 3 أشهر. يمكنك رؤية عدد الصفحات المزحوفة يوميًا، والكيلوبايتات التي تم تنزيلها يوميًا، وزمن تنزيل الصفحات (بالميلي ثانية). تُصنَّف البيانات إلى مرتفعة ومتوسطة ومنخفضة بناءً على القيم المتوسطة. وعند مراعاة العدد الإجمالي لصفحات موقعنا إلى جانب بيانات متوسط الزحف اليومي، تكون الدلالات بليغة. ويتيح لنا ذلك معرفة ما إذا كنا ضمن النطاق المعتاد أم أن علينا تحسين ميزانية الزحف.

هل ميزانية الزحف الصغيرة ضارة؟

لميزانية الزحف الصغيرة عيوب.

• ›

  يصعب أن يحقق المحتوى ترتيبًا سريعًا، إذ تجهل Google وجوده، وبالتالي لا تزحفه ولا تفهرسه.

• ›

  تُصبح المناطق الطرفية من الموقع نقاط ضعف عند صغر ميزانية الزحف، لأن الـ bot لا يجد وقتًا للوصول إلى الصفحات أو الأقسام العميقة في الموقع.

• ›

  لا تظهر فعالية تحسينات SEO On-Page المُطبَّقة لأنها لا تُزحف.

• ›

  إذا فهرس موقع آخر المحتوى نفسه ورتّبه قبل موقعنا، فقد تعتبر Google أننا نسخنا المحتوى وتفرض علينا عقوبة.

• ›

  حتى لو كانت ميزانية الزحف كبيرة، فلا شيء مضمون إن لم تُحسَّن بشكل صحيح.

كيف يتصرف الـ spider؟

لمعرفة الصفحات التي تزورها Google والأماكن التي تستثمر فيها وقت الزحف، وما إذا كان ذلك يتوافق مع أولويات تموضعنا في SEO، علينا الاطلاع على المعلومات التي توفرها السجلات (logs).

السجلات هي طلبات تُحفظ في الخادم وتمكّننا من معرفة ما يزوره Googlebot وما لا يزوره. ويصبح استخراج هذه الوثيقة وتنظيمها أسهل باستخدام ScreamingFrog Log File Analyser.

كيف نحسّن ميزانية الزحف؟

علينا تحديد الـ URLs الأساسية من حيث تموضع الموقع والأعمال، والتأكد من زحفها بأكبر قدر ممكن. لا فائدة من إنفاق ميزانية الزحف على صفحات ذات معاملات أو على صفحات الـ pagination التي ليست مهمة فعلًا.

من الحاسم تجنب مشكلات المحتوى المكرر ومنع تنافس الـ URLs على الكلمة المفتاحية ذاتها (cannibalization). كما أن المحتوى منخفض الجودة ضار أيضًا لأن الـ bot يستهلك وقتًا في تصفّحه.

ينبغي التركيز على المجالات التالية للتحسين.

WPO (Web Performance Optimization)

عليك تحسين سرعة التحميل، أي WPO كي لا تستغرق Google وقتًا طويلًا في زحف الموقع. تحب Google الكود النظيف وأقل عدد ممكن من الملفات. وذلك لتيسير التحميل وتحقيق تجربة مستخدم مثلى أثناء التصفح.

لا تنسَ ما يلي.

• ›

  تصغير وضغط ملفات CSS وJS

• ›

  إدارة وزن وحجم الصور وتحديد أبعادها

• ›

  اختيار Nginx خادمًا لتحسين التموضع عبر cache

الروابط وعمليات إعادة التوجيه

لا يقتصر دور الـ bot على زحف كل محتوى موقعك، بل يتبع أيضًا كل الروابط في كل صفحة. لتحقيق زحف صحيح يجب مراعاة ما يلي.

• ›

  ينبغي تجنب عمليات إعادة التوجيه غير الضرورية، إذ تضل Google داخلها.

• ›

  سلاسل إعادة التوجيه تعني عددًا من الـ URLs تُعاد توجيهها بشكل متتالٍ، فلا تصل Google إلى الـ URL الهدف وتضل في طريقها.

• ›تفقّد الروابط المعطوبة (الروابط التي تؤدي إلى حالة 404 not found) في الروابط الداخلية.

يصبح Screaming Frog وSearch Console حليفين مميزين في اكتشاف عمليات إعادة التوجيه الخاطئة وأي نوع من الـ URLs الخاطئة.

الروابط الداخلية

يجب إدارة الروابط الداخلية بحذر لتجنب الإفراط في استخدام الروابط، حتى لا يضل الـ bot أثناء زحف الـ URLs.

• ›يجب تعزيز المناطق الأهم وتقليل عدد الروابط في المناطق الأقل أهمية. لذلك توجد صفحات لا داعي للربط بها من جميع الصفحات في القائمة الرئيسية أو في الـ footer، مثل صفحة سياسة الخصوصية أو الكوكيز.

الكود

• ›يُستحسن تضمين أكبر قدر ممكن من HTML لتسهيل الزحف والفهرسة على الـ bot. ومن المعروف أن Google تواجه صعوبات في render وفهرسة الصفحات المبنية بـ JavaScript.

XML Sitemap

الـ sitemap أحد أهم الملفات الأساسية بالنسبة إلى Google لأنه يضمن الزحف والفهرسة الصحيحين للموقع.

• ›

  كلما كان منظمًا أكثر كان أفضل. نظّم الـ sitemap حسب الأقسام أو المجلدات.

• ›

  اختر له اسمًا يصف ما يحتويه. تجنّب الأسماء العامة جدًا مثل "sitemap 1".

• ›

  sitemap للصور وللفيديوهات وللغات.

• ›

  يجب أن تكون الـ URLs المُضمَّنة دائمًا الأهم، لذا لا تُضمِّن صفحات بها إعادة توجيه ولا صفحات بدون canonical ولا صفحات بها فلاتر ولا الـ pagination. كما لا نُضمِّن الصفحات قليلة الوزن مثل سياسة الخصوصية أو الكوكيز.

Robots txt

إلى جانب الـ sitemap، يُعد ملف robots.txt ملفًا جوهريًا لفهرسة وزحف الموقع. لذا لا تنسَ تحسينه قدر الإمكان.

• ›

  اربطه بـ XML sitemap لتسهيل الزحف قدر الإمكان.

• ›

  لا تحجب المجلدات المهمة. ولهذا الغرض يمكنك التحقق عبر Search Console robots.txt tester مما إذا كنت تحجب مجلدات أو صفحات مهمة.

• ›

  لا تحجب الصفحات التي تحتوي على إعادة توجيه أو على canonical.

• ›

  اسمح بالوصول إلى JS وCSS.

Hreflang tags

• ›تساعد هذه السمات الإضافية Google على تحديد لغة الموقع وعدد اللغات التي يتوفر بها.

Metarobots noindex و X-Robots-Tag

تُخبر هذه الموجّهات الـ bot بالصفحات أو المجلدات التي يجب عدم فهرستها، لكنها لا تمنع الوصول للزحف.

• ›

  الوسوم التي تطبّق موجّه metarobots "noindex" تستهلك من ميزانية الزحف، لذا من المهم جدًا عدم الإفراط في استخدامها.

• ›

  يُضاف header X-Robots على مستوى الكود في الـ headers، ويتيح إرسال موجّهات متعددة إلى Google، من بينها عدم فهرسة الصفحة.

مراجع:

• ›

  José Facchin: ما هي ميزانية الزحف، وما مدى أهميتها لـ Google وكيف يمكن تحسينها؟

• ›

  وكالة SEOCOM: ما هي ميزانية الزحف؟

• ›

  Big SEO Agency: ما هي ميزانية الزحف؟ مفاتيح تحسينها

• ›

  ContentKing: ميزانية الزحف في SEO: دليل مرجعي

• ›

  Mi posicionamiento web: ما هي ميزانية الزحف؟

• ›

  Luis Villanueva: ما هي ميزانية الزحف؟

• ›

  Neil Patel: كيف تستفيد من ميزانية زحف Google لتحسين SEO موقعك

• ›

  Search Engine Journal: 7 نصائح لتحسين ميزانية الزحف من أجل SEO

• ›

  Webmasters Google Blog: ما هي ميزانية الزحف بالنسبة إلى Googlebot؟

• ›

  DeepCrawl: ما هي ميزانية الزحف؟