Як знайти sitemap сайту

Що таке Sitemap?

XML sitemap — це список сторінок сайту, спрямований на допомогу різним пошуковикам. Він надає важливу інформацію про URL вашого сайту, включно зі сторінками, відео, зображеннями, файлами та їхніми зв'язками. Поряд зі сторінками XML sitemap також містить додаткові метадані про кожен URL:

• ›дата останнього оновлення - як часто він змінюється і - його пріоритет порівняно з іншими сторінками.

Коли йдеться про best practices SEO, sitemap треба оптимізувати, щоб включити лише індексований і якісний контент. Будь-яка зламана (404), перенаправляюча або дублікована сторінка всередині нього може заплутати пошуковики.

Sitemap — це наче схема сайту. Він побудований у форматі коду й зазвичай виглядає так:

Або так:

Чому вам треба знаходити sitemap?

Ми вже охопили основи sitemaps, включно з їхньою основною метою. Тепер погляньмо, чому ми взагалі можемо хотіти знаходити ці файли.

Як ми обговорили вище, sitemaps — це незамінний і простий спосіб інформувати пошуковики, зокрема їхніх сканерів (наприклад, Googlebot), про важливий контент на нашому сайті.

Перш за все, можете перевірити, чи маєте ви взагалі XML sitemap. Якщо маєте, наступний крок — перевірити його та побачити, чи створений він правильно і чи містить правильну інформацію.

Нарешті, якщо у вас немає sitemap, ви можете створити його та надіслати пошуковикам. Зважте, що XML sitemaps жодним чином не є обов'язковими. Однак вони допомагають пошуковим сканерам знаходити, індексувати й зрештою ранжувати нові сайти та сторінки швидше.

Тепер настав час глибоко зануритись у детективну роботу та знайти ті sitemaps!

Готові? Поїхали!

Прості способи знайти ваш sitemap

Розпочнімо нашу подорож з деяких найпростіших способів знайти sitemap сайту.

1) Вручну перевірте поширені локації XML sitemap

Один з найпоширеніших (і простих) способів локалізувати XML sitemap сайту — вручну перевірити кілька стандартних локацій. Це до смішного просто, і все, що треба, — ввести URL вашого сайту у браузері й тоді спробувати кілька різних варіацій. Покажу вам:

• ›www.YourWebsiteUrl.com/**sitemap.xml**

Це найпопулярніша локація, але не єдина. Тому, якщо нам не пощастить з першою спробою, ось ще кілька швидких перевірок:

• ›/sitemap_index.xml (це індекс усіх sitemaps у разі, якщо сайт має більше одного).

Це випадок з нашим власним XML sitemap у цьому блозі. Покажу вам:

А ось як він виглядає:

По суті, це всі окремі sitemaps, поділені за типом дописів, які мають усередині.

Тепер, якщо нам все ще не пощастило, спробуймо ще декілька опцій:

• ›/sitemap-index.xml- /sitemap.php- /sitemap.txt- /sitemap.xml.gz- /sitemap/- /sitemap/sitemap.xml- /sitemapindex.xml- /sitemap/index.xml- /sitemap1.xml

Примітка: XML-файли — лише один зі способів описати sitemap. Існують також формати RSS та Atom.

Тому треба додати ще кілька можливих локацій sitemap:

• ›/rss/- /rss.xml- /atom.xml

Поговоримо про них більше пізніше.

Просто щоб підтвердити: ставимо доменне ім'я сайтів перед "/", пробуючи різні альтернативи.

2) Перевірте файл Robots.txt

Якщо ви все ще з нами, це означає, що або вам не вдалося знайти файл, що є основною метою нашої статті, або ви просто допитливі та з пристрастю прагнете дізнатися більше.

Власне, незалежно від точної причини, у мене для вас хороші новини: продовжимо нашу подорож з ще однієї дуже простої поради.

Robots.txt — спеціальний файл, відомий SEO-фахівцям (та програмістам також), який надає корисні директиви пошуковим сканерам. Більше того, це також місце, де часто можна знайти посилання на sitemap сайту.

Ідея в тому, що оскільки пошуковики відвідують ці файли robots.txt, додавання посилання на sitemap там має ідеальний сенс. Так їм буде легше виявити sitemap з самого початку та сканувати сайт.

Ви готові до ще однієї хорошої новини?! Ось вона: щоб отримати доступ до файлу robots.txt сайту, треба просто додати /robots.txt до доменного імені у браузері та натиснути "Enter". Це подібно до попереднього кроку, де ми додавали різні можливі шляхи sitemap.

Що працює краще, ніж приклад з реального життя? Подивіться URL-адресу нашого власного файлу robots.txt:

https://seocrawl.com/robots.txt

Це маленький, але простий і корисний файл з кількома важливими функціями. Якщо ви вже відкрили його, майже миттєво зможете побачити маленький скарб, який шукаєте, — файл sitemap:

Voilà! Я ж обіцяв, що буде легко :)

3) Перевірте Google Search Console

Гаразд, sitemap все ще не знайдено? Жодних проблем! Маємо для вас більше порад, які допоможуть знайти шлях.

Покажу вам ще один легкий і швидкий спосіб.

Google Search Console (раніше відомий як Webmaster Tools) — це ще одне місце, щоб знайти потрібний нам шлях. Звісно, для цього треба бути власником сайту або мати наданий доступ.

Якщо ви відповідаєте одному з цих критеріїв, наступний крок — увійти в GSC і з меню зліва обрати Sitemaps:

Тепер, у разі якщо sitemap (або sitemaps) уже надіслано кимось у минулому, ви зможете побачити це одразу:

Поряд з точною URL-адресою sitemap є додаткова інформація як-от тип sitemap (індексні файли, що містять інші sitemaps всередині, або звичайні sitemaps зі сторінками сайту), коли його надіслано, остання дата перегляду, статус і скільки URL всередині.

ПОРАДА: якщо ви серйозно ставитесь до SEO та покращення продуктивності органіки сайту, Google Search Console — обов'язковий інструмент. Інсайти, які можна з нього отримати, численні.

Плюс додатковий бонус: наявність GSC дозволяє спробувати наш потужний інструмент SEOcrawl

4) Перевірте Bing Webmaster Tools

Хороша новина в тому, що Bing Webmaster Tools працює практично так само, як Google Search Console. Не дивно, що останній раніше називався Google Webmaster Tools, оскільки вони мають багато спільного.

Знову ж, треба увійти і потім перейти до лівої бічної панелі, де у вас буде доступний розділ "Sitemaps".

Натисніть на нього, і у разі, якщо sitemap/sitemaps уже були надіслані, ви зможете їх дослідити далі.

Просунуті способи знайти ваш sitemap

Ще з нами? Гаразд, це означає, що ви або все ще шукаєте те цінне місце розташування файлу sitemap, або ж ви достатньо хоробрі, щоб увійти в розділ для просунутих. У будь-якому випадку, я хочу привітати вас з тим, що дійшли так далеко, і побажати удачі :)

Обіцяю, що це не буде надто складно та страшно! Поїхали!

5) Використовуйте оператори пошуку Google

Оператори пошуку Google (також відомі як команди) можуть бути дуже потужними для різних SEO-цілей (наприклад, пошук можливостей лінкбілдингу, ідей контенту, виявлення технічних проблем тощо). Однак у цьому випадку ми використаємо їх, щоб знайти XML sitemap сайту, який досліджуємо.

Для цього треба скористатися командою "filetype:". Вона може бути справді корисною, коли ми поєднуємо її з командою "site:". По суті, поєднання обох шукатиме конкретні типи файлів лише на сайті, який ми хочемо.

Приклад: site:chess.com filetype:xml

А ось що цей пошук видасть у Google:

Ось маємо! Усі проіндексовані sitemaps сайту показані в Google, і ми можемо їх досліджувати далі.

Якщо з'являються деякі нерелевантні результати, можна ще більше уточнити пошук. Цього разу додамо до арсеналу оператор "inurl".

Наприклад: site:uefa.com filetype:xml inurl:sitemap

Примітка: як ми згадували вище, sitemaps також можуть бути текстовими файлами. Щоб знайти їх, можемо зробити подібний пошук, але з іншим розширенням.

Наприклад: site:WebsiteURL inurl:sitemap filetype:txt

І це призведе до такого:

ПОРАДА: ці команди розкриватимуть розташування sitemap лише якщо він проіндексований Google. Деякі WP-плагіни, що створюють sitemaps автоматично, додають тег no follow, no index до Sitemaps. Тож, якщо опинитесь без знайдених результатів, не хвилюйтесь!

Продовжимо з наступною ідеєю.

6) Використовуйте онлайн-інструмент

Інша техніка — спробувати онлайн-інструмент як-от SEO Site Checkup, де треба лише вставити URL вашого сайту й натиснути Checkup. Тоді отримаєте щось таке: Примітка: цей інструмент працює, перевіряючи стандартні локації sitemap, які ми згадували раніше (sitemap.xml, sitemap1.xml, sitemapindex.xml тощо). Тому він може не знайти ваш сайт у деяких специфічних випадках.

7) Перевірте CMS сайту

Залежно від системи керування контентом, на якій працює сайт, XML sitemaps можуть бути розташовані в різних місцях. Хороша новина в тому, що найпопулярніші CMS мають дефолтні локації, з яких можна почати пошук.

Спочатку треба ідентифікувати CMS сайту. Це досить простий процес, і можемо використати як онлайн-інструменти, так і браузерні розширення.

Наприклад, одне корисне доповнення — Built With, яке ідентифікує не лише CMS, а й багато інших програмних засобів, які використовує сайт. Ось як він відображає інформацію, яку ви шукаєте:

Якщо ви надаєте перевагу онлайн-інструменту, одне з можливих рішень — WhatCMS:

Альтернатива — CMS Detect:

Тепер, коли ми знаємо точну CMS, давайте дослідимо деякі з найпопулярніших систем керування контентом і де вони зазвичай зберігають XML-файли.

Wordpress

До 2020 року спосіб створення sitemaps був головним чином через плагіни. Однак сьогодні, з вбудованою функцією WP, вони мають бути розташовані за /wp-sitemap.xml.

Однак у разі, якщо сайт, який ви досліджуєте, використовує плагін для створення sitemap, можете спробувати деякі з таких локацій:

• ›/sitemap.xml- /tag-sitemap.xml- /sitemap_index/xml- /category-sitemap.xml

Альтернативно, можете перевірити налаштування плагіна та знайти шлях там.

Wix, Shopify, Joomla, Squarespace, Magento

Хороша новина в тому, що всі вони автоматично генерують XML sitemaps для своїх користувачів. Тому дефолтна локація (якщо не змінена додатково) така: /sitemap.xml

Із зазначенням, що ім'я домену йде перед частиною "/".

БОНУС: Bookmarklet для миттєвого виявлення Sitemap.xml

Якщо ви фанат продуктивності й заощадження часу на кожному маленькому завданні (хіба не всі ми SEO-фахівці такі?!), тоді можете знайти корисний швидкий bookmarklet для миттєвої перевірки XML sitemap сайту.

Треба лише додати цей javascript-код:

javascript:void(location.href='http://' + location.host + '/sitemap.xml')

Зробіть закладку, і щоразу, коли натискатимете на неї, відкриватиметься файл Sitemap у разі, якщо він розташований у дефолтній локації /sitemap.xml.

Швидко й легко!

Знаходження інших типів sitemaps

Ми говорили головним чином про XML sitemaps, оскільки це найпоширеніший формат, щоб показувати сканерам, що відбувається на вашому домені. Однак варто згадати інші типи, які також можна знайти на деяких сайтах.

• ›HTML. Зазвичай вони створені, щоб полегшити роботу користувачам, і дуже корисні особливо для більших сайтів.

Наприклад, Ebay надає своїм відвідувачам віртуальну "мапу" з основними сторінками й категоріями: https://pages.ebay.com/sitemap.html

• ›

  RSS. У деяких випадках сайти використовують RSS-стрічку як sitemap, що зазвичай розташований за: /rss/ або /rss.xml.

• ›

  Atom. Те саме стосується Atom-стрічки, і її зазвичай можна знайти як: /atom.xml - TXT. Це стандартний текстовий файл, як ми вже обговорювали один такий приклад. Локація: /sitemap.txt

Немає sitemap? Що робити в цьому випадку?

Пройшовши різні опції знаходження sitemap, варто сказати декілька слів про те, що робити, якщо sitemap ще не створено. Це буде випадок з більшістю абсолютно нових сайтів, що пробули онлайн короткий період. Або деяких дуже маленьких та крихітних сайтів.

Також зважте, що не всім сайтам потрібні sitemaps. Якщо сайт має лише декілька сторінок, ви чудово справитесь і без нього.

Однак, якщо хочете створити свій XML sitemap, можете просто скористатися плагіном, сумісним з вашою CMS-системою. Декілька гарних прикладів для WP:

• ›Rank Math Sitemap Plugin- WP Sitemap Plugin- Google XML Sitemaps- WordPress SEO by Yoast

Альтернативно, можете створити sitemap вручну або використати сканер, щоб пройтися сайтом і експортувати sitemap для завантаження.

Підсумовуючи:

Сподіваюсь, ці поради допомогли вам глибше зануритись у світ Sitemaps, і ви тепер краще ознайомлені з тим, як вони працюють, чому ми їх потребуємо… і, звісно, як їх знаходити.

Дайте нам знати в коментарях, якщо є щось ще, про що хотіли б дізнатися, або просто поділіться своїм досвідом :)

Удачі!