Как найти карту сайта (sitemap) любого сайта

Что такое карта сайта?

XML-карта сайта — это список страниц сайта, который призван помочь поисковым системам. Она даёт важную информацию об URL вашего сайта, включая страницы, видео, изображения и файлы, а также о том, как они связаны между собой. Помимо самих страниц, XML-карты содержат дополнительные метаданные по каждому URL:

• ›дата последнего обновления- как часто он меняется и - его приоритет относительно других страниц.

Если говорить о лучших практиках SEO, карта сайта должна быть оптимизирована так, чтобы в неё попадал только индексируемый и качественный контент. Любая битая (404), редиректящая или дублирующая страница внутри неё может запутать поисковые системы.

Карта сайта — это своего рода схема сайта. Она собрана в виде кода и обычно выглядит так:

Или так:

Зачем вообще искать карту сайта?

Основы по картам сайта, включая их главное назначение, мы уже разобрали. Теперь посмотрим, зачем нам вообще может понадобиться искать эти файлы.

Как мы говорили выше, карты сайта — это незаменимый и простой способ сообщить поисковым системам и, в частности, их краулерам (например, Googlebot) о важном контенте на нашем сайте.

Прежде всего вам может понадобиться проверить, есть ли у вас XML-карта сайта вообще. Если есть, следующий шаг — изучить её и понять, правильно ли она собрана и содержит ли верную информацию.

Наконец, если карты сайта у вас нет, её стоит создать и отправить в поисковые системы — в случае Google через отчёт «Файлы Sitemap» в Google Search Console. Учтите, что XML-карты сайта ни в коем случае не обязательны. И всё же они помогают поисковым краулерам находить, индексировать и в итоге ранжировать новые сайты и страницы быстрее.

Пора нырнуть в детективную работу и найти эти карты сайта!

Готовы? Поехали!

Простые способы найти вашу карту сайта

Начнём путь с нескольких самых лёгких способов найти карту сайта.

1) Вручную проверить типичные адреса XML-карты сайта

Один из самых распространённых (и простых) способов найти XML-карту сайта — вручную проверить несколько стандартных адресов. Это проще некуда: достаточно ввести в браузере URL сайта и попробовать несколько разных вариантов. Показываем:

• ›www.YourWebsiteUrl.com/sitemap.xml

Это самый популярный адрес, но не единственный. Поэтому, если с первой попытки не повезло, вот ещё несколько быстрых вариантов для проверки:

• ›/sitemap_index.xml (это индекс всех карт сайта на случай, если у сайта их несколько).

Именно так устроена наша собственная XML-карта сайта в этом блоге. Показываем:

А вот как она выглядит:

По сути, это отдельные карты сайта, разделённые по типу записей, которые в них лежат.

Если и теперь не повезло, попробуем ещё несколько вариантов:

• ›/sitemap-index.xml- /sitemap.php- /sitemap.txt- /sitemap.xml.gz- /sitemap/- /sitemap/sitemap.xml- /sitemapindex.xml- /sitemap/index.xml- /sitemap1.xml

Примечание: XML-файлы — лишь один из способов описать карту сайта. Есть ещё форматы RSS и Atom.

Значит, нужно добавить ещё несколько возможных адресов карты сайта:

• ›/rss/- /rss.xml- /atom.xml

О них мы поговорим чуть позже.

Уточним на всякий случай: перебирая разные варианты, перед «/» нужно ставить доменное имя сайта.

2) Проверить файл Robots.txt

Если вы всё ещё с нами, значит, либо файл вы так и не нашли — а именно ради этого и написана наша статья, — либо вам просто любопытно и хочется узнать больше.

В общем-то, какой бы ни была точная причина, у меня для вас хорошая новость: продолжаем путь ещё одним очень простым советом.

Robots.txt — это специальный файл, известный SEO-специалистам (да и программистам), который передаёт поисковым краулерам полезные директивы. Более того, именно здесь очень часто можно найти ссылку на карту сайта.

Логика в том, что раз поисковые системы заходят в эти файлы robots.txt, добавить туда ссылку на карту сайта абсолютно логично. Так им будет проще обнаружить карту сайта и просканировать сайт.

Готовы к ещё одной хорошей новости?! Вот она: чтобы открыть файл robots.txt любого сайта, достаточно дописать к доменному имени в браузере /robots.txt и нажать «Enter». Это похоже на предыдущий шаг, где мы подставляли разные возможные пути к карте сайта.

Что может быть нагляднее реального примера? Вот адрес нашего собственного файла robots.txt:

https://seocrawl.ai/robots.txt

Это крошечный, но простой и полезный файл с рядом важных функций. Если вы его уже открыли, то почти сразу увидите ту самую жемчужину, которую ищете, — файл карты сайта:

Вуаля! Я же обещал, что будет легко :)

3) Проверить Google Search Console

Так, карта сайта всё ещё не нашлась? Не беда! У нас есть ещё советы, которые помогут отыскать дорогу.

Покажу ещё один простой и быстрый способ.

Google Search Console (в прошлом известная как Webmaster Tools) — ещё одно место, где можно найти нужный путь. Разумеется, для этого нужно быть владельцем сайта или иметь выданный доступ.

Если вы подходите под один из этих критериев, следующий шаг — войти в GSC и в меню слева выбрать Файлы Sitemap:

Если карту сайта (или карты) кто-то уже отправлял раньше, вы увидите её сразу:

Вместе с точным адресом карты сайта там есть дополнительная информация: тип карты (индексные файлы, содержащие другие карты, или обычные карты со страницами сайта), когда её отправили, когда последний раз считали, статус и сколько URL внутри.

СОВЕТ: если вы серьёзно относитесь к SEO и хотите улучшить органические показатели сайта, Google Search Console — обязательный инструмент. Инсайтов из него можно вытащить очень много.

Плюс дополнительный бонус: наличие GSC позволяет попробовать наш мощный инструмент — SEOcrawl AI

4) Проверить Bing Webmaster Tools

Хорошая новость в том, что Bing Webmaster Tools работает практически так же, как Google Search Console. Неудивительно: последний когда-то назывался Google Webmaster Tools, и общего у них немало.

Снова нужно войти в аккаунт и перейти в левую боковую панель, где будет доступен раздел «Sitemaps».

Нажмите на него, и, если карта сайта или карты уже были отправлены, вы сможете изучить их подробнее.

Продвинутые способы найти вашу карту сайта

Всё ещё с нами? Значит, вы либо до сих пор ищете заветный адрес файла карты сайта, либо достаточно смелы, чтобы зайти в продвинутый раздел. В обоих случаях хочу вас поздравить с тем, что вы добрались так далеко, и пожелать удачи :)

Обещаю, это не будет так сложно и страшно! Поехали!

5) Использовать поисковые операторы Google

Поисковые операторы Google (их также называют командами) могут быть очень мощным средством для разных SEO-задач (например, поиска возможностей для линкбилдинга, идей для контента, обнаружения технических проблем и не только). Но в нашем случае мы применим их, чтобы найти XML-карту сайта, который изучаем.

Для этого нам пригодится команда «filetype:». Она особенно полезна в связке с командой «site:». По сути, комбинация этих двух будет искать конкретные типы файлов только на нужном нам сайте.

Пример: site:chess.com filetype:xml

И вот что такой поиск выдаст в Google:

Готово! Все проиндексированные карты сайта показаны в Google, и мы можем изучить их дальше.

Если в выдаче появляются нерелевантные результаты, поиск можно уточнить ещё сильнее. На этот раз добавим в арсенал оператор «inurl».

Например: site:uefa.com filetype:xml inurl:sitemap

Примечание: как мы упоминали выше, карты сайта могут быть и текстовыми файлами. Чтобы их найти, можно сделать похожий поиск, но с другим расширением.

Например: site:WebsiteURL inurl:sitemap filetype:txt

И это даст следующее:

СОВЕТ: эти команды покажут адрес карты сайта, только если она проиндексирована Google. Некоторые плагины WP, создающие карты сайта, автоматически добавляют к ним тег no follow, no index. Так что, если результатов не окажется, не переживайте!

Идём дальше.

6) Использовать онлайн-инструмент

Ещё один приём — попробовать онлайн-инструмент вроде SEO Site Checkup, где нужно только вставить URL сайта и нажать Checkup. Дальше вы получите примерно такое:Примечание: этот сервис работает так, что проверяет стандартные адреса карт сайта, о которых мы говорили выше (sitemap.xml, sitemap1.xml, sitemapindex.xml и так далее). Поэтому в каких-то особых случаях он ваш сайт может и не найти.

7) Посмотреть, на какой CMS работает сайт

В зависимости от системы управления контентом, на которой работает сайт, XML-карты могут лежать в разных местах. Хорошая новость: у самых популярных CMS есть адреса по умолчанию, с которых и стоит начать поиск.

Сначала нужно определить CMS сайта. Процесс довольно простой, и использовать можно как онлайн-сервисы, так и расширения браузера.

Например, полезное дополнение — Built With: оно определяет не только CMS, но и множество другого софта и программ, которые использует сайт. Вот как оно показывает нужную информацию:

Если вам ближе онлайн-инструменты, один из вариантов — WhatCMS:

Альтернатива — CMS Detect:

Теперь, когда мы знаем точную CMS, разберём несколько самых популярных систем управления контентом и то, где они обычно держат XML-файлы.

Wordpress

До 2020 года карты сайта создавались в основном через плагины. Однако сегодня, со встроенной функциональностью WP, они должны лежать по адресу /wp-sitemap.xml.

И всё же, если сайт, который вы изучаете, использует для создания карты плагин, можно попробовать такие адреса:

• ›/sitemap.xml- /tag-sitemap.xml- /sitemap_index/xml- /category-sitemap.xml

Как вариант, можно заглянуть в настройки плагина и найти путь там.

Wix, Shopify, Joomla, Squarespace, Magento

Хорошая новость: все они генерируют XML-карты сайта для своих пользователей автоматически. Поэтому адрес по умолчанию (если его дополнительно не меняли) такой: /sitemap.xml

С той оговоркой, что перед частью «/» идёт доменное имя.

БОНУС: букмарклет для мгновенного поиска Sitemap.xml

Если вы фанат продуктивности и экономии времени на каждой мелочи (а разве мы, SEO-специалисты, не все такие?!), вам может пригодиться быстрый букмарклет, который мгновенно открывает XML-карту сайта.

Нужно всего лишь добавить этот javascript-код:

javascript:void(location.href='http://' + location.host + '/sitemap.xml')

Сохраните его в закладки, и по каждому клику будет открываться файл карты сайта, если он лежит по адресу по умолчанию /sitemap.xml.

Быстро и просто!

Как искать другие типы карт сайта

Мы говорили в основном об XML-картах, потому что это самый распространённый формат, чтобы показать краулерам, что происходит на вашем домене. И всё же стоит упомянуть другие типы, которые тоже встречаются на некоторых сайтах.

• ›HTML. Такие обычно делают для удобства пользователей, и особенно полезны они на крупных сайтах.

Например, Ebay даёт посетителям виртуальную «карту» с основными страницами и категориями: https://pages.ebay.com/sitemap.html

• ›

  RSS. В некоторых случаях сайты используют как карту RSS-ленту, которая обычно лежит по адресу: /rss/ или /rss.xml.

• ›

  Atom. То же самое касается ленты Atom, и найти её обычно можно так: /atom.xml- TXT. Это обычный текстовый файл, один такой пример мы уже разбирали. Адрес: /sitemap.txt

Карты сайта нет? Что делать в этом случае?

Разобрав разные варианты поиска карты сайта, стоит сказать пару слов и о том, что делать, если карта ещё не создана. Так будет с большинством совсем новых сайтов, которые появились недавно. Или с очень маленькими площадками.

Ещё учтите, что карта сайта нужна не всем сайтам. Если на сайте всего несколько страниц, вы прекрасно обойдётесь и без неё.

И всё же, если вы хотите создать свою XML-карту сайта, можно просто взять плагин, совместимый с вашей CMS. Несколько хороших примеров для WP:

• ›Rank Math Sitemap Plugin- WP Sitemap Plugin- Google XML Sitemaps- WordPress SEO by Yoast

Как вариант, карту сайта можно собрать вручную или пройтись по сайту краулером и выгрузить карту для загрузки.

Подводя итог:

Надеюсь, эти советы помогли вам глубже нырнуть в мир карт сайта и теперь вы лучше понимаете, как они работают, зачем нужны… и, конечно, как их найти.

Расскажите в комментариях, о чём ещё вам хотелось бы узнать, или просто поделитесь своим опытом :)

Удачи!