Excluded by 'noindex' tag: что это значит и как исправить
Вы открыли Google Search Console, увидели группу URL со статусом «Excluded by 'noindex' tag» (исключено тегом noindex), и теперь эти страницы не видны в поиске.
Если в Google Search Console появилась группа URL со статусом «Excluded by 'noindex' tag», ваши страницы намеренно не допускаются в индекс Google, а исправить это обычно проще, чем кажется: найдите директиву, удалите её и попросите Google просканировать страницу заново.
В этом руководстве мы разберём, что именно вызывает этот статус, как найти директиву noindex, которая за ним стоит, и какие точные шаги нужны, чтобы удалить её в каждой популярной CMS и вернуть страницы в поиск. Та же проверка автоматически выполняется в Crawler от SEOcrawl AI: он находит директивы noindex по всему сайту без ручной проверки каждого URL.
Что означает статус «Excluded by 'noindex' tag» в Google Search Console?
Статус «Excluded by 'noindex' tag» означает, что Googlebot просканировал вашу страницу, нашёл директиву noindex и выполнил её, не включив страницу в индекс Google. Страница не появится в результатах поиска, пока эта директива остаётся на месте.
Где этот статус отображается в GSC
В старом отчёте «Покрытие» (в 2022 году его заменил отчёт «Индексирование страниц») этот статус находился в разделе «Исключено». В текущем отчёте «Индексирование страниц» (Индексирование › Страницы) вы найдёте его в разделе «Не проиндексировано», в таблице «Почему эти страницы не индексируются», с причиной «Excluded by 'noindex' tag». Google группирует все затронутые URL под этой меткой, поэтому их можно экспортировать и проверить списком.
Как Google находит и выполняет директиву noindex
В документации Google о блокировке индексирования с помощью noindex описаны два способа передачи: тег <meta name="robots" content="noindex"> в HTML-разделе <head> страницы или директива X-Robots-Tag: noindex в HTTP-заголовках ответа. Встретив любую из них, Googlebot полностью удаляет страницу из индекса, даже если раньше она была проиндексирована. Основы самого тега описаны в нашем руководстве по мета-тегу noindex.
Всегда ли это проблема? Когда исключение намеренное
Не каждый URL со статусом «Excluded by 'noindex' tag» является ошибкой. Страницы админки, входа, корзины и оформления заказа, страницы благодарности и результаты внутреннего поиска намеренно не допускаются в индекс Google. Если у них этот статус, система работает так, как задумано. Настоящая проблема начинается, когда эту метку получают страницы, которые должны ранжироваться.
Частые причины статуса «Excluded by 'noindex' tag»
Директива noindex может попасть на страницу разными путями. От того, какой из них действует на вашем сайте, зависит решение.
Мета-тег robots со значением «noindex» в <head>
Самый частый источник. Строка вида <meta name="robots" content="noindex"> в HTML страницы говорит Googlebot не индексировать её. Она может быть жёстко прописана в шаблоне или добавляться динамически CMS, плагином или функцией темы.
X-Robots-Tag в HTTP-заголовках ответа
X-Robots-Tag работает точно так же, как мета-тег, но находится в HTTP-заголовке ответа, а не в HTML. Его могут добавлять конфигурация сервера, правила CDN или директивы в .htaccess. Например:
Header set X-Robots-Tag "noindex"
Это касается каждого файла, подпадающего под правило, включая PDF и изображения, у которых нет HTML-раздела <head>. Многие владельцы сайтов совсем упускают этот вариант, потому что директиву не видно в исходном коде страницы.
Настройки CMS, случайно блокирующие индексирование
В WordPress есть флажок в разделе «Настройки › Чтение» под названием «Попросить поисковые системы не индексировать сайт». Если он отмечен, WordPress добавляет мета-тег robots с noindex на каждую страницу сайта. Многие включают его во время разработки и забывают снять после запуска.
Shopify может добавлять noindex через код темы или приложения. Некоторые страницы аккаунта и системные страницы Shopify сам исключает из индекса, и это правильно, но правка темы или SEO-приложение могут по ошибке добавить noindex на страницы товаров, коллекций или блога.
Wix добавляет noindex на любую страницу, в SEO-настройках которой запрещена индексация поисковыми системами. Частая причина: страницу дублируют, и копия незаметно наследует настройку noindex оригинала.
Конфликты плагинов или темы, добавляющие noindex
SEO-плагины позволяют задавать noindex для отдельной записи, страницы или типа контента. Неправильно настроенное глобальное правило, обновление плагина, сбросившее настройки, или тема, переопределяющая директивы плагина, могут разом распространить noindex на десятки страниц. Если вы недавно обновили плагин или сменили тему, проверьте это в первую очередь.
Настройки тестовой среды, попавшие в продакшн
Удивительно частый источник случайных тегов noindex. Тестовый сайт использует noindex, чтобы не попасть в Google. Когда процесс сборки переносит конфигурацию тестовой среды в продакшн, директива noindex переезжает вместе с ней. Обычно это затрагивает сразу целые разделы сайта, и эту причину сложнее всего диагностировать, если проверять страницы по одной.
Как определить, какие страницы затронуты
Повторяемый процесс диагностики находит все затронутые URL без догадок. Начните с Search Console, чтобы получить список, а затем переходите к отдельным страницам, чтобы найти источник.
Экспорт затронутых URL из отчёта «Индексирование страниц»
Откройте Google Search Console и перейдите в Индексирование › Страницы. Нажмите «Excluded by 'noindex' tag» в таблице «Почему эти страницы не индексируются». Search Console покажет выборку затронутых URL; с помощью кнопки Экспортировать скачайте список для обработки.
Проверка одного URL с помощью инструмента проверки URL
Вставьте любой URL в строку поиска в верхней части Search Console. Инструмент проверки URL показывает, увидел ли Google директиву noindex и где он её нашёл: в пункте «Indexing allowed?» указано, пришёл ли noindex из мета-тега robots или из HTTP-заголовка X-Robots-Tag. Нажмите View crawled page, чтобы увидеть точный HTML, который получил Googlebot. Это самая быстрая проверка одной страницы.
Поиск мета-тегов noindex в исходном коде страницы
Откройте страницу в браузере, щёлкните правой кнопкой мыши и выберите Просмотр кода страницы, затем найдите «noindex» (Ctrl+F или Cmd+F). Если вы нашли <meta name="robots" content="noindex"> или похожий тег, виновник именно он. Если в исходном коде его нет, директива, скорее всего, приходит из HTTP-заголовка.
Проверка HTTP-заголовков в DevTools браузера
Откройте DevTools (F12 или правый клик › Просмотреть код), перейдите на вкладку Network, перезагрузите страницу и нажмите на запрос основного документа. В разделе Response Headers найдите X-Robots-Tag: noindex. Это единственный способ прямо в браузере поймать директивы noindex в заголовках, которые не отображаются в HTML.
Сканирование сайта с помощью Screaming Frog или SEOcrawl AI
Для диагностики всего сайта краулер находит все затронутые страницы за один проход. Screaming Frog SEO Spider умеет фильтровать страницы по индексируемости с учётом мета-тегов и заголовков. Crawler от SEOcrawl AI сканирует каждую страницу, отмечает все страницы с директивой noindex в разделе Indexability и выдаёт Audit Health Score, так что вы видите полный масштаб проблемы без ручного экспорта и фильтрации.
Как исправить «Excluded by 'noindex' tag»: пошагово
Это самый практический раздел. Выберите решение, которое соответствует результату диагностики из предыдущего раздела.
Удаление мета-тега noindex из кода страницы
Отредактируйте шаблон или содержимое страницы и удалите <meta name="robots" content="noindex"> из HTML-раздела <head>. На сайтах с собственной разработкой проверьте файлы шаблонов напрямую. Если тег добавляется JavaScript, найдите отвечающий за это скрипт и удалите его или добавьте условие.
До:
<meta name="robots" content="noindex">
После:
<meta name="robots" content="index, follow">
Или просто удалите тег целиком. Отсутствие директивы noindex Google воспринимает как «индексирование разрешено».
Исправление X-Robots-Tag в конфигурации сервера или CDN
Проверьте .htaccess (Apache), nginx.conf (Nginx) или правила CDN на наличие директив X-Robots-Tag: noindex. Удалите их или ограничьте конкретными путями, которые действительно нужно исключить, а не страницами, которые должны индексироваться. Например, можно оставить noindex для /staging/ и убрать его из /blog/.
Как исправить в WordPress
Две проверки по порядку:
- Настройка для всего сайта: откройте Настройки › Чтение и снимите флажок «Попросить поисковые системы не индексировать сайт». Это самая частая причина проблем с noindex на всём сайте в WordPress.
- Настройки отдельных страниц в SEO-плагинах:
- Yoast SEO: откройте запись или страницу, прокрутите до блока Yoast, откройте вкладку Advanced и для параметра «Allow search engines to show this content in search results?» выберите «Yes».
- Rank Math: откройте запись, перейдите в блок Rank Math, откройте вкладку Advanced и для «Robots Meta» выберите «Index».
- All in One SEO: откройте запись на редактирование, перейдите на вкладку Advanced в настройках AIOSEO и убедитесь, что в настройках robots не отмечен пункт «No Index».
Также проверьте глобальные настройки каждого плагина: целые типы контента (метки, рубрики, произвольные типы записей) могут быть переведены в noindex. Об остальной настройке WordPress читайте в нашем руководстве по подключению WordPress к Google Search Console.
Как исправить в Shopify
В Shopify noindex обычно появляется из-за кода темы или приложения. Откройте Online Store › Themes › Edit code и найдите в theme.liquid и шаблонах страниц мета-тег robots с noindex. Затем проверьте SEO-приложения на правила, скрывающие товары, коллекции или записи блога, а также все товары и страницы с метаполем seo.hidden. Страницы аккаунта и другие системные страницы Shopify исключает из индекса сам, и так и должно оставаться.
Как исправить в Wix, Squarespace и других конструкторах сайтов
Wix: откройте SEO-настройки страницы (из меню страницы) и включите «Let search engines index this page». Если вы дублировали страницу, копия могла унаследовать настройку noindex от оригинала.
Squarespace: проверьте SEO-настройки всего сайта на наличие опции, скрывающей сайт от поисковых систем. Для отдельных страниц откройте настройки страницы и найдите «Hide page from search results» на вкладке SEO. Кроме того, Squarespace по умолчанию исключает из результатов поиска некоторые системные страницы, например корзину.
После исправления: запрос повторного индексирования в Google Search Console
Удаление тега noindex сообщает Google, что он может индексировать страницу, но Googlebot всё равно должен просканировать её заново, чтобы подтвердить изменение.
Запрос индексирования через инструмент проверки URL
Вставьте исправленный URL в строку поиска Search Console. Нажмите Test live URL, чтобы убедиться, что индексирование теперь разрешено, а затем нажмите Запросить индексирование. Google поставит URL в очередь на повторное сканирование. Так можно отправить несколько URL, но Search Console ограничивает количество запросов в день.
Сколько времени Google нужно на повторное индексирование страницы?
Обычно от нескольких дней до нескольких недель, в зависимости от того, как часто Googlebot сканирует ваш сайт. Сайты с высоким трафиком и частыми обновлениями пересканируются быстрее; новым или малопосещаемым сайтам иногда приходится ждать неделями. Запрос индексирования это самый быстрый сигнал, который вы можете отправить, но не гарантия: он ставит URL в очередь сканирования, а не запускает немедленное повторное сканирование.
Отправка обновлённого XML-файла Sitemap для ускорения сканирования
Если вы исправили сразу много страниц, отправьте обновлённый XML-файл Sitemap в разделе Файлы Sitemap в Search Console. Это сигнализирует, что на сайте произошли изменения, и стимулирует более широкое повторное сканирование. Чистый Sitemap без страниц с noindex также не создаёт противоречивых сигналов, о которых мы расскажем дальше.
Когда тег noindex стоит оставить (намеренные исключения)
Не каждый тег noindex нужно удалять. Некоторые страницы вообще не должны появляться в результатах поиска, а их индексирование добавляет малоценные или дублирующиеся страницы в представление Google о вашем сайте и тратит внимание краулера впустую.
Страницы, которые никогда не должны индексироваться
- Страницы входа и регистрации
- Страницы корзины, оформления и подтверждения заказа
- Страницы результатов внутреннего поиска (чтобы избежать дублированного контента)
- Страницы благодарности (лид-магниты, отправка форм)
- Страницы админки и бэкенда
- Тестовые среды и среды разработки
- Страницы фильтров и параметров, которые создают дублирующиеся URL
noindex или robots.txt: ключевые различия
robots.txt блокирует сканирование. noindex разрешает сканирование, но блокирует индексирование. Если вы заблокируете страницу в robots.txt, Googlebot никогда её не прочитает, а значит, не увидит и тег noindex. Если нужно убрать страницу из индекса, используйте noindex. Если нужно, чтобы Googlebot полностью пропускал страницу (чтобы сэкономить краулинговый бюджет), используйте robots.txt.
Частая ошибка: блокировать в robots.txt страницу, которая уже проиндексирована. Google не видит тег noindex, если не может просканировать страницу, поэтому URL может остаться в индексе с устаревшим заголовком и сниппетом. Правильный подход: разрешить сканирование и с помощью noindex убрать страницу из индекса.
Canonical или noindex: как выбрать нужную директиву
Тег canonical (rel="canonical") говорит Google: «эта страница копия другого URL, ранжируй лучше его». Тег noindex говорит Google: «вообще не индексируй эту страницу». У них разные задачи:
- Используйте canonical, если у вас есть дублирующийся или почти дублирующийся контент и вы хотите объединить сигналы ранжирования на одном URL.
- Используйте noindex, если страница ни при каких обстоятельствах не должна появляться в результатах поиска.
Сочетание обоих на одной странице создаёт противоречивые сигналы: одна директива говорит «объедини эту страницу с другим URL», другая говорит «удали её». Выберите ту, которая соответствует вашей цели.
Как предотвратить случайные теги noindex в будущем
Исправлять проблемы с noindex по факту необходимо, но их предотвращение экономит часы диагностики и потерянный трафик.
Настройка оповещений Search Console о падении индексации
Google Search Console отправляет подтверждённым владельцам и пользователям письма, когда обнаруживает новые проблемы с индексированием ресурса. Убедитесь, что уведомления по электронной почте включены в настройках писем Search Console. Если количество проиндексированных страниц резко падает, оповещение даёт вам фору до того, как начнёт падать трафик.
Проверка noindex в чек-листе QA перед запуском
Перед развёртыванием любого сайта или переносом тестовой среды в продакшн проверьте наличие директив noindex. 30-секундная проверка через «Просмотр кода страницы» и поиск слова «noindex» выявляет самую частую ошибку при развёртывании. Для больших сайтов просканируйте сайт до и после развёртывания и сравните количество страниц с noindex. Добавьте эту проверку в свой чек-лист технического SEO, чтобы её никто не пропускал.
Регулярное сканирование для поиска лишних директив noindex
Запускайте полное сканирование по расписанию, а также после каждого обновления плагина, смены темы или миграции, чтобы поймать лишние теги noindex до того, как они будут стоить вам трафика. Crawler от SEOcrawl AI позволяет сравнивать сканирования, так что вы видите, какие страницы получили noindex и когда, а SEO Monitor оповещает вас в тот же момент, когда на одной из ключевых страниц появляется тег noindex.
Часто задаваемые вопросы
Что означает статус «Excluded by 'noindex' tag» в Google Search Console?
Это значит, что Google нашёл на странице директиву noindex и выполнил её, поэтому страница не появится в результатах поиска. Статус отображается в отчёте «Индексирование страниц» в Search Console, в разделе «Не проиндексировано».
Это не всегда ошибка: страницы, которые вы исключаете намеренно, например страницы входа или оформления заказа, и должны иметь этот статус.
Как исправить «Excluded by 'noindex' tag» в WordPress?
Проверьте два места по порядку. Сначала откройте Настройки › Чтение и убедитесь, что флажок «Попросить поисковые системы не индексировать сайт» снят. Затем откройте каждую затронутую запись или страницу в вашем SEO-плагине (Yoast, Rank Math, All in One SEO) и убедитесь, что настройка robots для этой страницы разрешает индексирование.
Сколько времени нужно Google, чтобы проиндексировать страницу после удаления noindex?
Обычно от нескольких дней до нескольких недель, в зависимости от того, как часто Googlebot сканирует ваш сайт. После удаления директивы запросите индексирование через инструмент проверки URL и отправьте обновлённый XML-файл Sitemap, чтобы ускорить процесс. Сайты с высоким трафиком пересканируются быстрее, чем новые или малопосещаемые.
Может ли страница быть исключена тегом noindex, даже если она есть в моём Sitemap?
Да. Директива noindex важнее включения в Sitemap. Google может по-прежнему сканировать URL из вашего Sitemap, но не будет индексировать его, пока на странице есть noindex.
Либо удалите noindex, чтобы страницу можно было проиндексировать, либо уберите URL из Sitemap, если исключение намеренное. Страницы с noindex в Sitemap создают противоречивые сигналы.
Чем noindex отличается от блокировки страницы в robots.txt?
robots.txt запрещает Googlebot сканировать страницу; noindex разрешает сканирование, но запрещает индексирование. Если вы заблокируете страницу в robots.txt, Google не сможет прочитать тег noindex, и уже проиндексированная страница может остаться в индексе с устаревшим содержимым. Используйте noindex, чтобы убрать страницу из индекса, а robots.txt только тогда, когда хотите полностью запретить сканирование.
Как проверить, есть ли на странице тег noindex?
Три способа, от самого быстрого к самому тщательному: инструмент проверки URL в Search Console, просмотр исходного кода страницы с поиском слова «noindex» (Ctrl+F) или проверка HTTP-заголовков ответа в DevTools браузера (вкладка Network, ищите X-Robots-Tag). Только инструмент проверки URL и DevTools находят noindex, переданный в заголовке.
Стоит ли беспокоиться, если у многих страниц статус «Excluded by 'noindex' tag»?
Только если эти страницы должны индексироваться. Экспортируйте список из Search Console, сравните его с вашими намеренными исключениями (страницы входа, корзины, админки, страницы благодарности) и исправьте только те страницы, которые должны ранжироваться в поиске. Если все затронутые страницы вы исключили сознательно, статус работает правильно.
Автор: David Kaufmann
Последние 10 с лишним лет я полностью одержим SEO — и, честно говоря, не хотел бы иначе.
Моя карьера вышла на новый уровень, когда я работал старшим SEO-специалистом в Chess.com — одном из ста самых посещаемых сайтов интернета. Работа в таком масштабе: миллионы страниц, десятки языков и одна из самых конкурентных выдач — научила меня тому, чему не научит ни один курс и ни один сертификат. Этот опыт изменил моё представление о том, как выглядит по-настоящему сильное SEO, и лёг в основу всего, что я построил потом.
Из него выросло SEO Alive — агентство для брендов, которые всерьёз занимаются органическим ростом. Мы не продаём дашборды и ежемесячные отчёты. Мы строим стратегии, которые реально двигают цифры, соединяя классическое SEO с новым и захватывающим миром Generative Engine Optimization (GEO): чтобы ваш бренд появлялся не только в синих ссылках Google, но и внутри ответов, которые ChatGPT, Perplexity и Google AI Overviews каждый день выдают миллионам людей.
А поскольку инструмента, который нормально закрывает оба этих мира, я так и не нашёл, я сделал его сам — SEOcrawl AI, платформу SEO-аналитики корпоративного уровня, где в одном месте собраны позиции, технические аудиты, мониторинг ссылок, здоровье краулинга и отслеживание видимости бренда в AI. Это та платформа, которой мне всегда не хватало.
Откройте больше материалов этого автора
Видите в Search Console статус «Alternate page with proper canonical tag»? Чаще всего Google делает именно то, о чём вы его просили. Рассказываем, как отличить нормальные случаи от настоящих проблем и как исправить те, что действительно важны.
