Ошибки 404 на сайте: как найти, исправить и снизить риск потери SEO-трафика

Чтобы исправить ошибки 404 и снизить риск потери органического трафика — бесплатных переходов из поиска, — нужно решить, что делать с каждым значимым URL. Если страница нужна, ее восстанавливают. Если она переехала, со старого URL на новый настраивают постоянный редирект. А если адрес удален навсегда и подходящей замены нет, сервер должен возвращать код 404 или 410.

Рабочий процесс состоит из шести шагов:

1. Собрать неработающие URL из панелей поисковых систем, краулера (программы для обхода сайта), веб-аналитики и серверных логов (журналов запросов к серверу);

2. Определить источник каждого адреса и причину ответа 404;

3. Оценить поисковые переходы и показы, конверсии, внешние и внутренние ссылки, наличие URL в Sitemap (файла со списком страниц сайта);

4. Выбрать восстановление, исправление ссылки, постоянный редирект, 404 или 410;

5. Обновить внутренние ссылки и Sitemap;

6. Проверить HTTP-ответы, конечные адреса, переобход (повторное сканирование поисковым роботом), индексирование (добавление страниц в поисковую базу) и динамику трафика.

Такой подход уменьшает технические риски, но не гарантирует сохранение или полное восстановление прежних показателей. На органический трафик одновременно влияют спрос, конкуренция, содержание страниц, поисковые алгоритмы и история обработки URL.

Что означает ошибка 404 и когда ее нужно исправлять

HTTP 404 Not Found означает, что сервер не нашел ресурс по запрошенному URL. По самому статусу нельзя понять, ресурс отсутствует временно или постоянно. Это определение закреплено в RFC 9110.

Ответ 404 корректен, если страницу окончательно удалили и близкой по содержанию замены у нее нет. Не нужно перенаправлять такой адрес только для того, чтобы он исчез из отчета.

Вмешательство нужно, когда ответ сервера расходится с назначением URL. Например, товар остается в продаже, но его карточка пропала после обновления каталога. Меню может вести на адрес с опечаткой, перенесенная статья — открываться только по новому URL, а Sitemap — содержать удаленную страницу.

Из-за чего нужная страница начинает возвращать 404

Причину удобно искать по месту возникновения ошибки:

• Изменение контента. Редактор удалил, переименовал или перенес страницу, но не обработал старый адрес;

• Изменение структуры. После миграции, редизайна или обновления CMS (системы управления содержимым сайта) сайт формирует URL по новым правилам;

• Ошибка ссылки. Меню, публикация, рекламный материал или сторонний сайт содержит неправильный адрес;

• Устаревший Sitemap. XML-файл (файл с разметкой структурированных данных) передает поисковому роботу URL, которые уже не должны существовать;

• Ошибка маршрутизации. Приложение, сервер, CDN (сеть ускоренной доставки контента) или балансировщик (сервис распределения запросов между серверами) не сопоставляет запрос с существующим ресурсом;

• Пользовательский ввод. Посетитель набрал адрес с опечаткой или открыл устаревшую закладку.

Объем работы зависит от того, соответствуют ли друг другу назначение адреса, ссылки на него и ответ сервера. Сам по себе список URL со статусом 404 еще не показывает, какие страницы требуют исправления.

Чем отличаются 404, soft 404, 410 и редиректы

IANA — организация, которая ведет реестр интернет-стандартов, — закрепила за кодами 301, 404 и 410 названия Moved Permanently, Not Found и Gone. Официальные определения собраны в реестре кодов HTTP. Для SEO важнее всего, чтобы ответ сервера соответствовал состоянию ресурса:

Как возникает soft 404

Soft 404 — это ситуация, когда URL показывает сообщение об отсутствии страницы или почти бесполезное содержимое, хотя сервер возвращает другой код. Типичные случаи — шаблон «страница не найдена» с ответом 200 и перенаправление удаленных адресов на нерелевантную главную страницу. Такое определение приводит Google Search Central.

Оформление экрана не определяет HTTP-статус. Красивый шаблон ошибки может корректно отвечать кодом 404. Поисковая система может определить визуально обычную страницу как soft 404 из-за пустого или бессодержательного ответа.

Когда 410 точнее описывает удаление

Статус 410 уместен, когда постоянный характер удаления известен. Если владелец сайта не уверен, что ресурс удален навсегда, применяется 404. Различие объясняет справка MDN по статусу 410.

Выбор кода 410 не отменяет уборку сайта. Внутренние ссылки на удаленный ресурс нужно убрать или заменить, а его URL — исключить из Sitemap.

Чем постоянный редирект отличается от временного

Google рассматривает 301 и 308 как сигналы постоянного переноса. Поисковая система с большой вероятностью выберет целевой адрес каноническим URL — основным адресом страницы. Это поведение описано в документации Google о переадресации.

Яндекс также относит 301 и 308 к постоянным перенаправлениям, а 302, 303 и 307 — к временным, согласно справке Яндекс Вебмастера. Временный код подходит, когда перенос ограничен по времени и исходный URL должен остаться основным.

Как собрать полный список страниц с ошибкой 404

Каждый инструмент показывает только часть адресов. Поисковая панель показывает адреса, которые нашла поисковая система. Краулер переходит по доступным ему ссылкам, аналитика фиксирует посещенные URL, логи — запросы, дошедшие до сервера. Поэтому список адресов собирают из нескольких источников.

Что дают Google Search Console и Яндекс Вебмастер

Отчет об индексировании Google Search Console показывает причины, по которым известные Google страницы не индексируются, примеры URL и результат проверки после исправления. Отчет помогает найти уже обнаруженные системой адреса, но не заменяет полный обход сайта.

Яндекс Вебмастер показывает переходы по внутренним, внешним и исходящим неработающим ссылкам. Таблица может содержать URL источника и назначения, HTTP-статус, текст ссылки и дату проверки. Данные можно выгрузить в XLS или CSV. По адресу источника можно сразу определить, какая ссылка ведет на 404.

Что добавляют краулинг, аналитика и серверные логи

Полный обход через Screaming Frog, SiteAnalyzer или другой краулер находит внутренние ссылки на ответы 404, если робот может добраться до соответствующих страниц. В проверку стоит включить HTML-документы, изображения, таблицы стилей, JavaScript-файлы и другие ресурсы, от которых зависит работа сайта.

Веб-аналитика выявляет URL с ошибкой 404, которые посещали пользователи, и позволяет сопоставить их с переходами, поведением и конверсионными сессиями (посещениями с целевым действием) в пределах возможностей системы. Серверные логи содержат фактические обращения к сайту, включая запросы поисковых роботов и URL за пределами внутренней структуры.

Полной картины по отдельности эти источники не дают. Краулер пропустит адрес без доступной ссылки. Аналитика не зафиксирует запрос, если счетчик не загрузился.

Как объединить выгрузки без дублей

Сводную таблицу собирают в таком порядке:

1. Приводят выгрузки к общим полям: обнаруженный URL, источник данных, URL страницы-источника, HTTP-статус и дата наблюдения;

2. Разделяют протокол, хост, путь, параметры запроса и фрагмент, чтобы было понятно, по каким правилам выполняется нормализация (приведение адресов к единому виду);

3. Приводят регистр хоста к единому виду и удаляют стандартные порты (типовые номера сетевых соединений);

4. Обрабатывают завершающий слеш, регистр пути и параметры по правилам конкретного сайта, поскольку сервер может считать такие варианты разными ресурсами;

5. Объединяют точные дубли и сохраняют все источники обнаружения;

6. Повторно запрашивают каждый URL и записывают текущий статус, чтобы отличить URL, которые по-прежнему возвращают ошибку, от устаревших записей.

Автоматически удалять параметры опасно. Фильтр, идентификатор или языковой параметр может менять содержимое страницы. При нормализации нужно учитывать, как на сайте на самом деле настроена маршрутизация.

Как определить причину и источник каждого 404

Если определить источник, станет понятно, почему адрес продолжает получать запросы и что нужно сделать, чтобы устранить причину. Один URL может одновременно встречаться во внутренней статье, Sitemap, поисковом индексе и внешней публикации. Все найденные источники нужно сохранять в реестре.

Во внутренней ссылке обычно достаточно заменить href на конечный рабочий URL. Стандартная ссылка использует элемент a с атрибутом href. Google рекомендует связывать значимые страницы доступными для сканирования ссылками в руководстве по ссылкам. Отдельный материал ADPASS подробнее объясняет, как найти и устранить битые ссылки на сайте.

Какие ошибки 404 исправлять в первую очередь

Чем выше подтвержденная ценность URL и масштабнее сбой, тем выше приоритет. Универсального числового порога нет: одна конверсионная страница может быть ценнее большой группы технических адресов без ссылок и посещений.

Приоритет повышают следующие сигналы:

• Органический спрос. До появления ошибки URL получал поисковые переходы или показы;

• Бизнес-ценность. Страница участвовала в заявках, продажах или другом целевом действии;

• Внешние ссылки. На адрес ведут ссылки с других сайтов;

• Внутренняя роль. URL указан в меню, значимых статьях, карточках или других заметных элементах структуры;

• Присутствие в Sitemap. Сайт сам передает адрес поисковой системе для обхода;

• Массовый шаблон. Ошибка затрагивает категорию, языковую версию, тип страниц или ресурсы интерфейса;

• Непостоянный ответ. Если рабочая страница периодически отдает 404, произошел технический сбой.

Массовые ошибки и сбои, из-за которых рабочие страницы то открываются, то возвращают 404, нужно устранять в первую очередь. Следом идут ценные URL с подтвержденными переходами, показами, конверсиями или ссылками. Адреса без назначения, ссылок и посещений можно проверить позже.

Когда восстановить страницу, настроить редирект или оставить 404

Чтобы принять решение, проверьте четыре признака: должна ли страница существовать, почему она пропала, есть ли релевантная замена и подтверждают ли данные ее ценность:

Для окончательно удаленного контента Google рекомендует возвращать 404 или 410. Перемещенную либо замененную страницу следует направить постоянным редиректом. Эта логика приведена в руководстве по устранению ошибок сканирования.

Как выбрать релевантную цель редиректа

Релевантная замена решает ту же задачу пользователя, что и старый URL. Если карточка конкретной модели переехала, направьте редирект на карточку той же модели по новому адресу. Категорию можно выбрать, когда она продолжает прежний сценарий и отдельной равнозначной страницы нет.

Главная страница редко заменяет конкретную статью, товар, услугу или документ. При массовом перенаправлении отсутствующих URL на главную разные ресурсы ведут на одну страницу, поэтому такое перенаправление может быть расценено как ошибка soft 404.

Как составить карту редиректов и избежать новых ошибок

В карте редиректов фиксируют результаты диагностики, выбранное решение и техническую проверку. В нее включают старый URL, источник обнаружения, причину, показатели ценности, выбранное действие, целевой URL, ожидаемый статус и результат проверки.

Пример рабочей таблицы содержит условные адреса и не описывает результаты реальной кампании:

Старый URL должен сразу вести на конечную страницу. Маршрут «старый адрес → промежуточный адрес → актуальный адрес» образует цепочку редиректов (последовательность нескольких перенаправлений). Если одновременно настроить правила «A → B» и «B → A», возникнет цикл, и клиент не получит содержимое.

После настройки редиректа внутренние ссылки обновляют на конечный URL. Пользователь попадает на актуальную страницу без лишнего перехода, а браузер и поисковый робот обращаются к ней напрямую.

Что делать при массовых 404 после миграции или редизайна

При массовых 404 после изменения структуры нужно действовать в аварийном режиме. Команда фиксирует текущую конфигурацию и приостанавливает изменения, которые мешают установить причину. Затем она восстанавливает соответствия между прежними и актуальными адресами.

Аварийный порядок действий выглядит так:

1. Зафиксировать время появления ошибок, затронутые шаблоны URL, релизы и изменения серверной конфигурации;

2. Приостановить переименование и удаление адресов до получения устойчивой карты состояния;

3. Собрать старые URL из прежних Sitemap, выгрузок CMS, Search Console, Яндекс Вебмастера, аналитики, логов и материалов миграции;

4. Повторно проверить текущие ответы и выделить группы адресов с общим шаблоном;

5. Сопоставить старые страницы с актуальными по назначению и содержанию;

6. В первую очередь восстановить или перенаправить URL с подтвержденным спросом, конверсиями, внешними и внутренними ссылками;

7. Внедрять правила контролируемыми партиями, после каждой партии проверять статусы, цели, цепочки и циклы;

8. Обновить внутренние ссылки и Sitemap, затем запустить повторный обход.

Если URL периодически возвращает 404, карта редиректов проблему не решит. Команде нужно сравнить ответы разных серверов и точек доставки, проверить кеш, балансировку, доступ к данным и согласованность версий приложения.

Как проверить исправления и контролировать индексирование

Нужно проверить исходный адрес, весь маршрут перенаправления и конечную страницу. Если страница открывается в браузере, это еще не значит, что HTTP-ответ правильный.

После внедрения проверяют следующие условия:

• Восстановленный URL возвращает ожидаемый успешный статус и полноценное содержимое;

• Удаленный URL возвращает выбранный статус 404 или 410;

• Постоянно перемещенный URL возвращает статус 301 или 308 и перенаправляет на нужную страницу;

• Конечная страница возвращает ожидаемый успешный статус;

• Редирект не проходит через промежуточные адреса и не образует цикл;

• Страница, на которую ведет редирект, решает прежнюю задачу пользователя;

• В качестве канонического URL конечной страницы указан выбранный адрес;

• Целевая страница доступна поисковому роботу и связана с остальным сайтом;

• Внутренние ссылки ведут сразу на конечный URL;

• Окончательно удаленные адреса исключены из Sitemap.

Как контролировать результат после релиза

После повторного краулинга нужно убедиться, что на сайте больше нет ссылок на страницы с ошибкой 404 и промежуточные адреса редиректов. В панелях вебмастеров можно проверять отдельные URL, следить за отчетами об индексировании и запускать проверку исправлений, если она доступна в интерфейсе.

Органический трафик отслеживают по затронутым URL и группам страниц, поскольку общая динамика сайта может скрыть локальную проблему. В сопоставимых периодах сравнивают переходы, показы, индексирование и конверсии. Изменение показателей само по себе не доказывает, что на них повлияло исправление ошибок 404: показатели также зависят от спроса, сезонности, обновлений контента и других релизов.

Переобход и обновление поисковых данных занимают время, универсального срока для всех сайтов нет. Проверять результат стоит по фактическим изменениям в отчетах.

Как сделать страницу 404 полезной для посетителя

Пользовательская страница 404 должна прямо сообщать, что запрошенный адрес не найден, и предлагать перейти в востребованный раздел, воспользоваться поиском по сайту или вернуться на уровень выше. С их помощью пользователь может перейти дальше, даже если открыл устаревшую ссылку или ошибся при вводе URL.

Страница может сохранять фирменное оформление, но должна возвращать HTTP 404 для отсутствующего ресурса. Меню, поиск, рекомендации или иллюстрация не меняют технический статус. Ответ 200 для такого шаблона создает риск soft 404.

Оформление не исправляет внутренние битые ссылки. Если сайт сам ведет посетителя в тупик, ссылку нужно обновить в ее источнике. Материал ADPASS о том, где сайт теряет посетителей и заявки, подробнее связывает технические ошибки с пользовательским маршрутом.

Заключение

Результат зависит от двух условий: HTTP-ответ отражает реальное состояние ресурса, а новый адрес при редиректе соответствует содержанию старой страницы. В зависимости от ситуации страницу восстанавливают, ссылку исправляют, настраивают постоянный редирект или оставляют ответ 404/410.

Если собрать причины, источники и ценность в одном реестре, будет проще сосредоточиться на значимых адресах. Корректная обработка URL снижает риск потери органического трафика, но не гарантирует прежние позиции, переходы или скорость обновления поисковых данных.