robots.txt: полное руководство по настройке

Что такое robots.txt и зачем он нужен?

robots.txt — это просто файл, размещённый в корне сайта, который позволяет запретить определённым ботам (например, ботам Google или Bing) заходить на ваш сайт или в отдельные его части.

ВНИМАНИЕ: важно понимать, что это протокол, и по общему правилу все «хорошие» боты его соблюдают (GoogleBot, BingBot, Semrush, ...), но любой бот с дурными намерениями может его проигнорировать — например, Screaming Frog, если включить вот эту опцию:

Почему файл robots.txt важен для SEO?

Как мы уже упоминали, все хорошие боты (например, GoogleBot) соблюдают этот протокол, поэтому мы можем использовать файл, чтобы направлять Google по нашему сайту. Страницы, которые вы здесь запретите, появятся с пометкой «Заблокировано в robots.txt» в Google Search Console.

Что? В смысле? Направлять Google с помощью robots.txt?

Да, не переживайте, объясним на примере — так станет гораздо понятнее:

Представьте, что на вашем сайте есть закрытый раздел, куда попадают только зарегистрированные пользователи, а как мы прекрасно знаем, Google не может зайти ни на один сайт, требующий авторизации (пока...).

Так разве не логично, чтобы Google не тратил наш краулинговый бюджет на сканирование страниц, которые не представляют для него ценности?

Именно! Одно из важнейших применений robots.txt — закрывать пути, малоценные для Google, и тем самым заставлять его сосредоточиться на важных страницах нашего сайта. Поэтому robots.txt должен быть одной из опор в нашей SEO-стратегии.

И это лишь один пример из тысяч вещей, которые можно сделать с этим файлом. Среди прочего: указать наш sitemap, увеличить интервал сканирования, закрыть от сканирования ресурсы, ...

Как создать файл robots.txt

Что ж... за работу!

Создать этот файл действительно просто: достаточно взять текстовый редактор (Блокнот в Windows или TextEdit на Mac) либо онлайн-редактор и после составления robots.txt экспортировать его в формате txt.

Когда файл готов, остаётся назвать его «robots.txt» и загрузить в корень сайта через панель сервера или по FTP.

Чтобы проверить, загрузился ли он корректно, достаточно добавить к вашему домену «/robots.txt», например https://seocrawl.ai/robots.txt

ВНИМАНИЕ: осторожнее с кэшем — лучше смотреть в режиме инкогнито ;)

А если у меня WordPress?

Если у вас WordPress, всё проще: лучшие SEO-плагины, такие как Rank Math или Yoast, имеют встроенный модуль для редактирования robots.txt напрямую.

В случае Rank Math вы найдёте его в Rank Math > General Settings > Edit robots.txt

В случае Yoast нужно пройти в SEO > Tools > File Editor

Так вы легко отредактируете или создадите файл, не выполняя ни одного из описанных выше шагов.

Команды

Ниже разберём многие из доступных нам команд вместе с соответствующими примерами:

Закрыть сайт от сканирования

User-agent: * Disallow: /

ПРИМЕЧАНИЕ: если вы разрабатываете сайт и не хотите, чтобы хоть один бот заходил, читал и индексировал ваш контент, это правило отлично подойдёт.

Закрыть от сканирования страницу

User-agent: * Disallow: /url-of-page-i-dont-want-crawled

Закрыть от сканирования папку

User-agent: * Disallow: /folder/

Разрешить доступ к странице

User-agent: * Allow: /page

Закрыть папку и разрешить страницу в этой папке

User-agent: * Disallow: /folder/ Allow: /folder/page

Указать sitemap

Sitemap: https://domain.com/sitemap.xml

Давать указания конкретным ботам

На этом остановимся чуть подробнее. Если вы заметили, большинство предыдущих директив начиналось со строки:

User-agent: *

Эта «*» означает всех ботов. То есть все директивы после этой строки применяются ко всем ботам. Если же мы хотим отдать отдельные распоряжения конкретным ботам, нужно изменить её так:

User-agent: Googlebot если мы хотим обратиться к боту Google

User-agent: Bingbot если мы хотим обратиться к боту Bing

User-agent: DuckDuckBot если мы хотим обратиться к боту DuckDuckGo

Остаётся лишь выяснить, как называется бот, которому вы хотите отдать распоряжение, и указать его так, как мы только что показали.

Проверьте и протестируйте файл robots.txt

Теперь, когда вы закончили «доводку» своего robots и он полностью оптимизирован и подогнан под ваш сайт, остаётся только его протестировать.

Протестировать? Зачем?

Затем, чтобы убедиться, что мы не напортачили ни в одной строке и что файл действительно закрывает те части сайта, которые мы хотим закрыть.

Для этого рекомендуем воспользоваться этим инструментом.

Оказавшись внутри, вам нужно лишь:

• ›

  Ввести URL, для которого хотите проверить, разрешено ли сканирование

• ›

  Выбрать User Agent

• ›

  Нажать TEST

Сразу после этого загрузится весь наш файл robots.txt, а ниже будет указано, разрешён доступ или нет.

В данном случае, как видим, результат положительный, но если бы мы ввели URL, доступ к которому запрещён, инструмент подсветил бы ещё и строку, которая его блокирует:

Кроме того, этот инструмент позволяет править наш robots.txt прямо оттуда и вносить любые нужные изменения, чтобы результат совпал с нашей целью. После правки и проверки остаётся лишь применить эти новые изменения к нашему robots.

Бонус: сделайте свой robots.txt незабываемым

Мы показали вам уйму строк кода, которые работают для ботов, но вы также можете вставлять комментарии, начиная строку с «#». То есть всё, что начинается с «#», боты проигнорируют. Это открывает целый мир возможностей и внутренних шуток. Поэтому советуем заглянуть в robots.txt сайтов windupschool, pccomponentes или Minube — наверняка вас там ждёт сюрприз ?

Заключение

Как вы убедились, файлу robots.txt есть что предложить, и он же требует немалой аккуратности: неудачно поставленная директива способна закрыть от сканирования весь ваш сайт.

Надеемся, это руководство вам пригодится, а по любым вопросам — увидимся в комментариях.