Индексация: что это такое и как Google индексирует страницы

Значение для SEO

Связь между индексацией и SEO сложнее, чем кажется на первый взгляд.

Начнём с того, что URL должен быть проиндексирован, чтобы можно было ставить цели по позициям в поисковой выдаче. Как бы хорошо вы ни оптимизировали страницу, если она не проиндексирована, визитов из поиска вы не получите.

С другой стороны, в момент индексации странице присваивается позиция в ранжировании. Конкретная позиция будет зависеть от остальных факторов ранжирования на странице и вне её, над которыми мы работали до этого момента.

К этим факторам можно добавить и другие, которые мы контролируем в большей или меньшей степени. Речь о:

• ›

  возрасте сайта

• ›

  темпе публикации URL, которые нужно проиндексировать

• ›

  существующей конкуренции и т. д.

Кроме того, индексация на количественном уровне тоже влияет на позиции страницы. Чем больше URL проиндексировано у домена, тем больше веса он набирает в поисковой системе по сравнению с конкурентами — логично, при условии что эти URL высокого качества: важно не только количество, но и качество, это мы принимаем как данность.

Способы узнать, какие страницы у меня проиндексированы

Есть несколько способов узнать, сколько и какие страницы проиндексированы. Ниже разбираем два самых полезных:

Search Console

Google Search Console, вероятно, самый распространённый инструмент как для просмотра проиндексированных страниц, так и для контроля и управления другими SEO-параметрами сайта.

В разделе «Индекс» есть вся нужная нам информация об индексации нашего сайта.

Отчёт «Покрытие» даёт нам историю проиндексированных страниц с указанием тех, что содержат ошибки, тех, что были подтверждены, и тех, что исключены, с возможностью сравнения.

Команда site

Быстрый способ проверить индексацию страницы в реальном времени — команда «site:».

Использовать её нужно в самой поисковой системе, набрав: site:mydomain.com. Тогда в поисковой выдаче покажется и число проиндексированных URL, и список их всех.

Небольшие расхождения между результатами Search Console и тем, что получено командой site, — это нормально; обычно дело в том, когда каждый из них собирает данные.

Как индексировать веб-контент

Идеальная ситуация — когда опубликованный URL индексируется автоматически. Но реальность не так благосклонна.

На практике происходит вот что: Google (как и остальные поисковые системы) использует несколько сканирующих роботов по всему интернету, чтобы находить существующие URL, те, что остаются неизменными, те, что изменяются, те, что исчезли, а также новые URL.

Если он обнаруживает новый URL и сайт оптимизировал всё необходимое, чтобы облегчить доступ робота, он анализирует URL и, если тот отвечает базовым условиям, индексирует его и допускает к публикации в поисковой выдаче.

Как мы упомянули, происходит это не с той скоростью, которой нам бы хотелось. Чтобы ускорить индексацию новых URL, вы можете:

• ›

  Использовать контент, у которого много трафика на нашем сайте, чтобы поставить оттуда внутреннюю ссылку на нужные страницы и улучшить сканирование, а значит, и индексацию

• ›

  Использовать карту сайта, как мы уже упоминали

• ›

  Использовать в Google Search Console инструмент «Проверка URL»

чтобы затем форсировать индексацию через «Запросить индексирование»

• ›

  Через упоминания в социальных профилях, например в Twitter, Facebook и т. д. Раньше этот метод работал эффективнее, но если у нас заметное число пользователей, которые дают визиты на контент, он обычно работает хорошо.

• ›

  Через программы для индексации, их на рынке несколько, некоторые бесплатные, большинство платные. Обычно они работают онлайн и, как правило, полезны для массовой индексации URL, но лично мы рекомендуем другие методы.

Нужно ли индексировать весь контент?

Можно подумать, что 100% нашего онлайн-контента индексируемы и, более того, что это нам выгодно во всех отношениях. Но это не так.

Индексация каждого элемента сайта может привести к появлению дублированного контента, индексации страниц без ценности и т. д. Поэтому важно иметь пределы индексации.

По этой причине многие URL — связанные с тегами, юридические страницы, фильтры, результаты внутреннего поиска и подобные — исключаются из индексации, а остальные индексируются корректно.

Карта сайта и индексация

Карта сайта — краеугольный камень индексации страницы. Это файл, который выступает посредником в общении поискового робота с сайтом и сообщает ему, какие URL индексируемы, как они организованы в структуре сайта и когда обновлялись в последний раз.

Как использовать её для улучшения индексации

Создать карту сайта можно несколькими способами. Сегодня проще всего воспользоваться плагином SEO-оптимизации и управления, в котором есть такая опция.

Вам нужно создать карту сайта и разрешить её публикацию на домене, обычно по такой структуре: mydomain.com/sitemap.xml.

Если хотите обеспечить лучшую индексацию через карту сайта, зарегистрируйте домен в Google Search Console, и в разделе «Индекс» вы увидите раздел Sitemap. Если указать адрес вашей карты сайта, с этого момента у Google будет лучший доступ к файлу, он быстрее проиндексирует ваши URL, а вы сможете отслеживать всю динамику этой индексации в этом онлайн-инструменте.

Как убрать URL из индекса

Есть ещё один способ использовать карту сайта для удаления URL из индекса, и он может показаться противоречащим самой сути этого элемента, но он весьма полезен. Он состоит в том, чтобы добавить тег noindex ко всем URL, которые мы хотим убрать из индекса, и загрузить в карту сайта только эти URL. Так мы заставим Google просканировать их раньше и, увидев тег noindex, приступить к их удалению из индекса.

**Recommended Article** -> [**Как убрать URL из индекса Google**](/ru/blog/noindex)

Через Search Console

В Google Search Console можно запросить у Google удаление URL из индекса. Для этого нужно зайти в раздел «Индекс» и подраздел «Удаление URL». Вариантов несколько, и самый рекомендуемый — срочное удаление контента.

Достаточно создать новый запрос, указать URL, который нужно убрать из индекса, и Google это учтёт, чтобы выполнить процедуру как можно скорее.

Директива noindex

Если есть определённые URL или даже целые разделы, которые вы не хотите отдавать в индекс, директивой noindex вы сообщите Google, что их не нужно учитывать каждый раз при сканировании вашего сайта.

Как вы могли убедиться, индексация играет фундаментальную роль в ранжировании, и стоит следить за статусом индексации наших сайтов и давать нужную обработку разным страницам, из которых состоит наш сайт.