Індексація: що це і як Google індексує сторінки

Важливість для SEO

Зв'язок між індексацією та SEO складніший, ніж здається на перший погляд.

Для початку URL має бути проіндексований, щоб мати змогу досягати цілей ранжування у результатах пошуку. Хоч би як добре ви оптимізували сторінку, якщо вона не проіндексована, ви не отримаєте жодного відвідування з пошукової системи.

З іншого боку, у момент індексації сторінці присвоюється позиція ранжування. Точна позиція залежатиме від решти SEO-факторів on-page та off-page, над якими ми працювали до того моменту.

До цих факторів можемо додати інші, які ми контролюємо більшою чи меншою мірою, залежно від кожного. Йдеться про:

• ›

  вік сайту

• ›

  темп публікації URL, які потрібно індексувати

• ›

  наявну конкуренцію тощо.

Окрім того, індексація на кількісному рівні також впливає на SEO-ранжування сторінки. Чим більше URL домен має проіндексованих, тим більшу вагу він набуває в пошуковій системі порівняно з конкуренцією — логічно, поки ці URL якісні: тут йдеться не лише про кількість, а й про якість, це сприймаємо як належне.

Методи дізнатися, які сторінки у мене проіндексовані

Існує кілька способів, що дозволяють дізнатися, скільки і які сторінки проіндексовані. Нижче назвемо два з найкорисніших:

Search Console

Google Search Console — імовірно, найбільш використовуваний інструмент як для перегляду проіндексованих сторінок, так і для контролю й керування іншими SEO-параметрами сайту.

У розділі Index маємо всю інформацію, яка нам потрібна щодо індексації нашого сайту.

Звіт Coverage надає історію проіндексованих сторінок з зазначенням тих, що мають помилки, тих, що були валідовані, і тих, що виключені, з можливістю порівняння.

Команда Site

Швидкий спосіб перевірити індексацію вебсторінки в реальному часі — це команда «site:».

Маємо використовувати її у самій пошуковій системі, вводячи: site:mydomain.com. Результати пошуку покажуть і кількість проіндексованих URL, і список усіх з них.

Невеликі відмінності між результатами Search Console й тими, що отримані через команду site, нормальні; зазвичай це відбувається через те, коли кожен з них збирає дані.

Як індексувати вебконтент

Ідеальною ситуацією було б те, щоб після публікації URL він індексувався автоматично. Але реальність не настільки сприятлива.

Що відбувається на практиці — Google (як і решта пошукових систем) використовує кілька краулінгових роботів в інтернеті для ідентифікації наявних URL, тих, що залишаються стабільними, тих, що змінюються, тих, що зникли, а також нових URL.

Якщо він виявляє новий URL і сайт оптимізував усе необхідне, щоб полегшити роботу робота, він аналізує URL і, якщо той відповідає базовим умовам, індексує його і дозволяє його публікацію у результатах пошуку.

Як ми згадували, це не відбувається зі швидкістю, якої б ми хотіли. Щоб прискорити індексацію нових URL, можна:

• ›

  Використати контент, що має багато трафіку на нашому сайті, щоб додати внутрішнє посилання на ті сторінки задля покращення краулінгу й, відповідно, індексації

• ›

  Використати сайтмеп, як ми вже згадували

• ›

  Використати інструмент Google Search Console «Inspect URL»

а потім примусити індексацію через «Request indexing»

• ›

  Через згадки в соцмережах, як-от Twitter, Facebook тощо. Цей метод був ефективнішим, але якщо у нас значна кількість користувачів, які генерують відвідування контенту, він зазвичай добре працює.

• ›

  Через програми індексації — їх кілька на ринку, деякі безкоштовні, а більшість платні. Зазвичай вони працюють онлайн і, як правило, корисні для масової індексації URL, але особисто ми рекомендуємо інші методи.

Чи потрібно індексувати весь контент?

Можемо подумати, що 100% нашого онлайн-контенту піддається індексації і, до того ж, що це йде нам на користь у всьому. Але це не так.

Індексація кожного елементу сайту могла б призвести до наявності дубльованого контенту, індексації сторінок без цінності тощо. Тому важливо мати ліміти індексації.

З цієї причини багато URL, як-от пов'язані з тегами, юридичними сторінками, фільтрами, внутрішніми результатами пошуку тощо, виключаються з цієї індексації, тоді як решта індексується валідно.

Sitemap та індексація

Sitemap є наріжним каменем індексації вебсторінки. Це файл, що слугує посередником у комунікації між пошуковим роботом і сайтом, інформуючи його про те, які URL піддаються індексації, як вони організовані у вебструктурі, і дату їх останнього оновлення.

Як його використовувати для покращення індексації

Існує кілька способів створити сайтмеп. Сьогодні найлегший — скористатися плагіном для SEO-оптимізації та керування, що включає цю опцію.

Маєте створити сайтмеп і дозволити його публікацію в домені, зазвичай у такій структурі: mydomain.com/sitemap.xml.

Якщо хочете забезпечити кращу індексацію через сайтмеп, зареєструйте свій домен у Google Search Console і в розділі Index побачите, що є розділ Sitemap. Якщо включите адресу свого сайтмепа, відтепер Google матиме кращий доступ до вашого файлу, швидше індексуватиме ваші URL, і ви зможете моніторити всю еволюцію цієї індексації з цього онлайн-інструмента.

Як деіндексувати URL

Існує ще один спосіб використовувати сайтмеп для деіндексації URL, і він може здаватися контрпродуктивним самій концепції цього елементу, але доволі корисний. Він полягає в додаванні тегу noindex до набору URL, які ми хочемо деіндексувати, і завантаженні лише цих URL у сайтмеп. Так ми примусимо Google скоріше їх краулити і, побачивши тег noindex, перейти до їхньої деіндексації.

Рекомендована стаття -> Як деіндексувати URL з Google

Через Search Console

У Google Search Console можна запитати у Google деіндексацію URL. Для цього маєте перейти до розділу Index і розділу URL Removal. У вас є кілька опцій, причому найбільш рекомендоване — термінове видалення контенту.

Треба просто створити новий запит, включити URL, який хочете деіндексувати, і Google візьме це до уваги, щоб виконати процес якнайшвидше.

Директива Noindex

Якщо є певні URL чи навіть цілі розділи, які ви хочете запобігти індексації, директивою noindex ви будете комунікувати Google, що він не повинен враховувати їх щоразу під час краулу вашого сайту.

Як ви могли переконатися, індексація відіграє фундаментальну роль у SEO-ранжуванні, і доцільно моніторити статус індексації наших сайтів і надавати належний догляд різним сторінкам, що складають наш сайт.