Помилка 404: що це таке і як її виправити

Незалежно від того, надаєте ви SEO-послуги чи ні, ви напевно не раз стикалися з горезвісною помилкою 404 під час кліку на вебсторінку. Якщо вже для користувача це досить негативний досвід, можете уявити, наскільки це може зашкодити SEO-ранжуванню вебсайту. Чому? Що таке помилка 404? Які наслідки вона має?
Розповідаємо нижче:
Що таке помилка 404?
Помилка 404, «файл не знайдено», — це код стану HTTP-протоколу, який браузер показує, коли користувач намагається відкрити сторінку, яку не вдається знайти. Така відповідь означає, що з'єднання із сервером було встановлено, але запитуваний ресурс знайти не вдалося, тож сервер повертає браузеру цю всім відому відповідь.
Одне із завдань SEO-консультантів — відстежувати кількість «помилок 404», оцінювати їх та пропонувати рішення для кожного випадку. Якщо цього не робити, можна не лише зашкодити іміджу бренду вебсайту, а й погіршити органічне ранжування, якщо ситуацію не контролювати.

Чому? Тому що, хоч це й цілком звичайні коди, очікувані в поведінці вебсайту, коли ми натрапляємо на сторінку, якої не існує, Google (як і будь-яка інша пошукова система) їх розпізнає.
У випадку URL-адрес із SEO-цінністю їхній PageRank знижується, і вони втрачають своє органічне ранжування, а це, очевидно, означає, що кількість кліків зменшиться. Крім того, якщо пошукові краулери виявляють у межах вебсайту високий відсоток URL-адрес із помилками 404, вони роблять висновок, що за сайтом не доглядають належним чином. А зрозумівши це, вони припускають, що користувацький досвід буде поганим на всьому сайті, і це зашкодить ранжуванню на рівні домену.
І це ще «у кращому випадку», коли наші позиції в SERP лише знизяться, бо це може навіть деіндексувати URL, яку ми хочемо ранжувати. Тоді сценарій помітно гірший.
Тепер не плутаймо код помилки 404 зі статусом 410. Якщо перший означає, що це тимчасова ситуація, то 410 — це відповідь сервера, коли сторінку видалено й її повернення не передбачається. Тобто Google позначає такі сторінки як остаточно видалені.
Якщо хочете дізнатися про це трохи більше, можете переглянути, як Google відрізняє 404 від 410:
Matt Cutts, керівник напряму якості пошуку в Google, пояснює процедуру для кожного з цих двох кодів помилок.
Причини помилок 404
Причини, з яких сервер може повернути «помилку 404 — не знайдено», можна звести до таких:
-
URL видалено навмисно або помилково, тож якщо ми спробуємо відкрити її, вмісту вже не буде, і нам покажеться сторінка з помилкою 404.
-
Ви змінюєте домени, не переносячи опубліковані сторінки зі старого домену на новий. Не виконавши перенаправлення 301, кожен, хто потрапить на ці сторінки, побачить 404.
-
Ми помилково набираємо URL у браузері, тож, оскільки її не існує (її ніколи не створювали), отримуємо таку відповідь.
Де шукати помилку 404, щоб знайти рішення
Перш ніж побачити, що робити з такими URL-адресами та визначити рішення для кожної з них, спочатку потрібно їх знайти й зафіксувати. Для цього в нас є чимало SEO-інструментів, які допоможуть нам їх знайти й відстежувати. Серед багатьох доступних ми регулярно використовуємо:
Screaming Frog Spider
Screaming Frog — дуже надійний і незамінний інструмент для виявлення помилок 404, а також для розуміння стану вебсайту в багатьох інших аспектах. Це must-have для SEO-фахівців.

Онлайн-інструменти
Скористайтеся онлайн-ресурсами на кшталт www.brokenlinkcheck.com та зручними розширеннями для Chrome, як-от Broken Link Checker.
Google Analytics
Один зі способів виявити, що відбувається багато HTTP 404, — показник відмов. Якщо ця метрика занадто висока, це може бути спричинено великою кількістю URL з кодами стану 404.
Щоб остаточно перевірити, скільки користувачів потрапили на URL з помилкою 404 за певний період, перейдіть на дашборд, відкрийте вкладку звіти > поведінка > вміст сайту > усі сторінки. Потім введіть 404 у пошуковому рядку, і ви отримаєте звіт про те, скільки сесій було зафіксовано на цій сторінці.

Google Search Console:
Як і з Analytics, ви можете використати Search Console, щоб знаходити сторінки з кодами 404, які автоматично відображаються після сканування ботами Google. Достатньо натиснути на пункт Coverage Index і переглянути, які URL з'являються як «Submitted URL not found (404)».

Майте на увазі, що вони можуть бути проіндексовані або ні, тож слід перевірити всі варіанти (тобто і «сторінки з помилками», і «виключені сторінки»).
Правильне рішення для кожної помилки 404
Для всіх URL, на яких ми виявили, що під час нашого огляду досі є помилка 404, ми оцінимо, як діяти, спираючись на конкретну проблему:
Налаштувати перенаправлення 301
Уявіть, що ви помилково набрали URL (номер 1), опублікували її, а потім видалили. Створивши сторінку з правильною URL (номер 2) і знову опублікувавши її, щоб уникнути помилки 404 на першій, ми зробимо перенаправлення 301 з URL номер 1 на URL номер 2.
Може також статися, що ви тимчасово прибрали сторінку, але вона має відвідувачів і на неї посилаються з інших сторінок — як у вашому домені, так і з інших. У такому разі ми рекомендуємо зробити перенаправлення 301 на іншу сторінку зі схожим вмістом. Якщо такої немає, перенаправте на категорію вищого рівня, до якої вона належить. У крайньому разі, якщо інших варіантів немає, перенаправте на головну сторінку. Тобто перенаправляйте за допомогою 301, але робіть це з метою!
Надіслати помилку 410
Помилка 404 — це не те саме, що 410, як ми бачили раніше. Якщо сторінку не знайдено, але ми не хочемо, щоб Google розумів, що це тимчасова ситуація, ми обираємо впровадження 410. Утім, перш ніж робити цей крок, переконайтеся, що на неї не вказують жодні посилання. Так Google зрештою остаточно деіндексує цю URL зі своєї бази даних, і її не враховуватимуть під час ранжування у SERP.
Альтернативи перед поверненням 404
Може бути, що у вас ecommerce і ви вирішили тимчасово прибрати товар зі складу. Перш ніж видаляти, подумайте: чому б не залишити його опублікованим зі статусом 200, повідомивши, що наразі цього товару немає, але запропонувати можливість переглянути сторінки з подібними товарами чи послугами через посилання, які користувачі побачать на цій же сторінці? Якщо згодом цей товар знову з'явиться, URL уже існуватиме, і хоч її авторитет та ранжування могли тимчасово знизитися, вам буде значно легше повернути її в результати пошуку, ніж починати з нової URL.
Створіть власну кастомну сторінку помилки 404
Навіщо кастомізувати сторінку помилки?
Як ми зазначили в попередньому абзаці, можливо, ви не погодитеся; можливо, ви хочете, щоб Google розумів, що це 404. Просто 404. У такому разі не задовольняйтеся показом користувачу типової стандартизованої сторінки помилки 404. Кастомізуйте її, запропонувавши вміст, схожий на той, який користувач шукав і через який потрапив на ваш вебсайт. Так ви не лише сприяєте певному залученню до бренду, а й, можливо, користувач продовжить переглядати ваш вебсайт.

Приклади креативних сторінок 404
Існує безліч альтернатив, щоб користувач не залишав сторінку з кодом 404 одразу. Але для цього треба показати йому натомість цікавий вміст і проявити креативність у тому, як це зробити. Наприклад, можна додати помітний внутрішній пошук, аби з цієї сторінки користувач міг перейти на інші можливі сторінки зі вмістом, схожим на те, що він шукав із самого початку.
Через сторінки з помилками 404 ми також можемо додавати контактні форми, підписки на розсилку і навіть прямі посилання на вміст, схожий на той, що шукав користувач. Завжди, коли це доречно, ви допомагаєте користувачу обрати продовження перегляду інших сторінок вашого вебсайту.
А якщо вам нічого запропонувати, спробуйте принаймні викликати усмішку персоналізованим повідомленням про те, що користувач потрапив на URL, де нема на що дивитися.
Подивімося гарний приклад, де таку сторінку кастомізували й вона зуміла привернути увагу:

Висновок про помилки 404
Залишати помилки 404 без уваги може стати серйозним головним болем як для ваших користувачів, так і для вас, якщо ви інвестуєте в конверсію через вебсайт. Регулярно відстежуйте їх і вирішуйте, що з ними робити; ви уникнете негативного досвіду, меншої органічної видимості, меншої кількості кліків і конверсій.
Чи погоджуєтеся ви? Хочете щось додати? Поділіться в розділі «Коментарі», який побачите трохи нижче!
Автор: David Kaufmann

Останні 10+ років я повністю занурений у SEO — і чесно кажучи, не хотів би інакше.
Моя кар'єра вийшла на новий рівень, коли я працював старшим SEO-спеціалістом у Chess.com — одному зі 100 найвідвідуваніших сайтів у всьому інтернеті. Робота в такому масштабі навчила мене того, чого не дав би жоден курс чи сертифікат.
З цього досвіду я заснував SEO Alive — агенцію для брендів, які серйозно ставляться до органічного зростання. І оскільки не знайшов інструмента, що добре справляється з обома світами — класичним і AI, побудував SEOcrawl. Якщо ви шукаєте досвідченого SEO-партнера, який любить цю справу — буду радий поговорити!
Дізнайтесь більше контенту цього автора

