Как ошибка 404 влияет на позиции сайта

Ошибка 404 влияет на позиции сайта не тем способом, о котором обычно думают. Поиск не выставляет штраф за количество несуществующих адресов и не понижает ресурс за то, что часть ссылок ведёт в пустоту. Позиции падают по другой причине: вместе с адресом исчезает документ, который отвечал на запрос, а вместе с документом уходят накопленный вес, показы и клики. Разница принципиальная, потому что от неё зависит, что вы будете чинить — счётчик ошибок в отчёте или реальную потерю трафика.

В SEO я с 2005 года, и почти в каждом аудите вижу одну и ту же картину: в панели вебмастера висит несколько тысяч адресов с четыреста четвёртым кодом, владелец нервничает и просит «убрать ошибки», а половина этих адресов не стоит ни одного действия. При этом три-четыре страницы, которые действительно приносили заявки и теперь отдают пустоту, в общем списке никак не выделены. Ниже — как поиск оценивает несуществующие адреса, по каким каналам они всё-таки доходят до позиций, чем мягкие 404 хуже честных и в каких случаях правильный ответ — не трогать ничего.

Что поиск делает с адресом, который перестал открываться

Механика простая и предсказуемая. Робот приходит по известному ему адресу, получает код 404 и не считает это происшествием: он помечает адрес как недоступный и планирует повторный визит. При следующих обходах, если ответ не изменился, адрес выпадает из индекса. Сколько это занимает — зависит от того, как часто робот к вам заходит: у активного магазина неделя-полторы, у редко обновляемого сайта услуг может тянуться месяц и дольше.

Никакого понижения соседних страниц при этом не происходит. Оценка качества сайта строится не на доле ошибочных ответов — иначе любой крупный магазин с ротацией ассортимента был бы вечно понижен. Отчёт «страницы с ошибкой» в панели вебмастера — не список нарушений, а журнал того, что робот встретил. Читать его как обвинительное заключение — самая частая ошибка владельца.

Три канала, по которым 404 доходит до позиций

Прямого фактора «количество ошибок 404» в ранжировании нет. Есть три косвенных канала, и они отличаются по силе и по скорости проявления. Понимание того, какой канал сработал в вашем случае, экономит недели работы.

Канал	Что происходит	Как быстро видно	Насколько дорого
Исчезновение документа	Страница отвечала на запросы и ранжировалась, теперь её нет — позиции по её запросам обнуляются	От нескольких дней до месяца	Максимально дорого, если у страницы был трафик
Обрыв ссылочного веса	Внешние и внутренние ссылки указывают на пустой адрес, вес не передаётся дальше по сайту	Медленно, накопительно	Дорого при большом числе внешних ссылок на удалённое
Расход обхода	Робот повторно ходит по несуществующим адресам вместо новых и обновлённых страниц	Заметно только на крупных сайтах	Умеренно, но растёт с размером каталога
Поведение людей	Посетитель из поиска попадает в тупик и возвращается в выдачу	Проявляется на статистике за две-четыре недели	Зависит от того, сколько живого трафика шло на адрес

Первая строка — единственная, которая объясняет резкие просадки. Если позиции упали за несколько дней, ищите не «ошибки на сайте вообще», а конкретные документы, которые перестали существовать. Остальные три канала работают медленно и никогда не дают обвала за неделю.

Про расход обхода стоит сказать отдельно, потому что этим аргументом чаще всего пугают. На сайте из двухсот страниц робот успевает обойти всё и ещё раз, сколько бы мёртвых адресов вы ему ни подкинули. А вот в каталоге на пятьдесят тысяч карточек, где после чистки ассортимента образовалось семь тысяч несуществующих адресов, новые товары индексируются заметно дольше. Правило простое: если мёртвых адресов больше, чем живых страниц, обход уже страдает.

Сколько несуществующих адресов считается «много»

Абсолютное число само по себе ничего не говорит. Осмысленны два соотношения.

• Доля от общего объёма сайта. Двести мёртвых адресов на каталоге из тридцати тысяч страниц — фоновый шум. Те же двести на сайте услуг из сорока страниц означают, что структуру недавно переделали и половина сайта потерялась.
• Доля адресов, на которые ведут ваши собственные ссылки. Это ключевой показатель. Если робот приходит на несуществующий адрес по ссылке из вашего меню, вашей статьи или вашей карты сайта, вы сами каждый день подтверждаете ему, что адрес должен существовать. Он будет возвращаться месяцами. Если же адрес известен роботу только из истории или по чужой кривой ссылке, интерес к нему угасает сам.

Отсюда практический вывод, который меняет порядок работы. Разбирать список ошибок нужно не сверху вниз по алфавиту, а по источнику обнаружения. Адреса, найденные по внутренним ссылкам, — первая очередь. Адреса из карты сайта — вторая, и это отдельный сорт небрежности: карта сайта является прямым заявлением «вот страницы, которые у меня есть», и мёртвые адреса в ней подрывают доверие ко всему файлу. Всё остальное — третья очередь и чаще всего не требует действий вовсе.

Мягкие 404: почему код 200 на пустой странице хуже честной ошибки

Мягкой ошибкой называют ситуацию, когда содержимого на странице фактически нет, а сервер отвечает кодом 200 «всё в порядке». Человек видит надпись «товар снят с продажи» или «по вашему запросу ничего не найдено», робот видит нормальный документ и добросовестно кладёт его в индекс.

Смежный материал по теме — «Как влияет уникальность текста на позиции сайта».

Такие страницы вредят сильнее честных ошибок сразу по трём причинам, и все три касаются позиций напрямую.

1. Они попадают в индекс и остаются там. Честная 404 выпадает сама. Пустышка с кодом 200 живёт в поиске и участвует в оценке сайта как обычная страница — только отвечает она ни на что.
2. Они размывают оценку раздела. Когда в категории из двухсот адресов сто пятьдесят представляют собой заглушки с одинаковым текстом и без товаров, поиск получает от раздела сигнал «здесь много одинакового и бессодержательного». Страдает не только пустышка, но и живые карточки рядом с ней.
3. Их не видно в отчётах. В списке ошибок их нет — формально ошибки не произошло. Владелец смотрит на чистый отчёт и уверен, что с сайтом всё хорошо. Ищутся такие страницы только отдельно: обходом сайта с фильтром по объёму текста, поиском по характерным фразам заглушки, сверкой числа страниц в поиске с реальным числом карточек.

Помогу с продвижением: SEO-специалист Анатолий Кузнецов — вывожу сайты в топ Яндекса белыми методами.

Отдельный сорт мягкой ошибки — переадресация всего несуществующего на главную. Приём популярен, потому что «убирает ошибки из отчёта», и этим же вреден: ошибки исчезают из отчёта, но не из сайта. Поиск сравнивает содержимое исходного адреса и цели переадресации, видит, что они не связаны, и трактует такой переход как ту же пустышку. Вес не передаётся, страница из индекса выпадает, а вы лишились единственного отчёта, по которому могли бы понять масштаб происходящего.

Правило, которое я применяю на проектах: страница либо содержательна и отвечает кодом 200, либо не содержательна и отвечает 404. Промежуточных состояний быть не должно. Если товара временно нет, но карточка описывает его, показывает характеристики, цену и аналоги — это полноценная страница, оставляйте 200. Если от карточки осталось одно название и кнопка «сообщить о поступлении» — содержимого нет, и притворяться, что оно есть, себе дороже.

Когда 404 — правильный ответ и чинить нечего

Половина работы по ошибкам состоит в том, чтобы не делать лишнего. Ниже — ситуации, где несуществующий адрес является нормой, и попытка его «починить» приносит вред.

Разбор живого сайта: что именно мешает ему продвигаться:

Ситуация	Нужно ли действие	Почему
Опечатка в адресе, набранном вручную	Нет	Сервер отвечает корректно, адреса не существует и не должно существовать
Чужой сайт сослался с ошибкой в адресе	Обычно нет	Действие имеет смысл, только если источник ссылки заметный и трафик по ней реальный
Удалили служебные страницы: метки, пустые фильтры, дубли	Нет	Это плановая чистка, адреса выпадут сами и должны выпасть
Сканеры перебирают адреса чужих движков	Нет	Роботы уязвимостей ищут админки и файлы, к вашему сайту список отношения не имеет
Истёкшая акция или прошедшее мероприятие	Обычно нет	Действие нужно, если по адресу шёл трафик и есть актуальная замена
Товар снят с производства навсегда, замены в ассортименте нет	Нет	Отправлять человека на несвязанный товар хуже, чем честно сказать, что позиции нет
Удалённая страница имела запросы и переходы из поиска	Да	Это потеря документа — главный канал влияния на позиции
Ваше меню, статьи или карта сайта ссылаются на этот адрес	Да	Вы сами удерживаете мёртвый адрес в обходе и тратите внутренний вес

2:29

Обратите внимание на строку про сканеры. На любом сайте, простоявшем хотя бы полгода, в логах накапливаются сотни обращений к путям чужих систем управления, к резервным копиям и к файлам конфигурации. В отчётах они выглядят как ошибки, тревожат владельца и не значат ровным счётом ничего. Отделять их просто: у этих адресов нет ни одной ссылки-источника и они никогда не приносили переходов.

Самый дорогой сценарий: 404 отдаёт рабочая страница

Всё сказанное выше касается адресов, которых действительно не должно быть. Гораздо опаснее обратная поломка — когда существующая и нужная страница по техническим причинам начинает отвечать «не найдено». Это единственный случай, где связь с позициями прямая и быстрая: документ исчезает из выдачи в течение нескольких обходов, а владелец узнаёт об этом из падения заявок.

Если нужны детали, смотрите «Влияет ли ТИЦ на позиции сайта».

Типичные причины, по которым живая страница отдаёт ошибку:

• Правила переадресации написаны с ошибкой, и часть адресов попадает под шаблон, для которого не предназначалась.
• Обновление системы управления сбросило правила формирования адресов, и вместо привычного пути страница живёт по новому.
• Права доступа к файлам слетели после переноса на другой хостинг.
• Сервер отвечает ошибкой только роботу: по признаку клиента отдаётся другой ответ, чем браузеру. Такое случается на агрессивно настроенной защите от нагрузки.
• Страница помечена как черновик или снята с публикации по неосторожности редактора.

Отдельно выделю четвёртый пункт: он самый коварный, потому что в браузере всё открывается и владелец уверен, что проблемы нет. Проверять надо инструментом, который показывает ответ сервера так, как его видит поисковый робот. В панели вебмастера для этого есть проверка ответа сервера с выбором робота — это первое, что стоит сделать, когда страница «вроде работает», а из поиска пропала.

Практическое следствие: для страниц, которые приносят деньги, имеет смысл поставить регулярную проверку кода ответа. Это может быть внешний сервис мониторинга, может быть простая проверка раз в сутки по списку из тридцати ключевых адресов. Разница между обнаружением поломки в день её появления и через три недели измеряется в потерянном трафике.

Как понять, что просадка связана именно с 404

Когда позиции упали, версия «у нас куча ошибок 404» приходит в голову первой, потому что отчёт с ошибками легко открыть. Проверяется эта версия за час, и в большинстве случаев отбрасывается.

Шаг	Что смотрим	Что означает результат
1	Просело всё или отдельная группа страниц	Общая просадка — почти всегда не про 404; страдает то, что исчезло, а не соседи
2	Сравнить число страниц в поиске до и после падения	Резкое сокращение — сигнал, что документы выпали, а не потеряли позиции
3	Проверить, отвечают ли кодом 200 сами просевшие адреса	Если просевшая страница жива и открывается, дело не в ошибках
4	Сопоставить дату падения с датами правок и выгрузок	Совпадение с чисткой каталога, переездом или обновлением движка — сильная улика
5	Посмотреть, что показывает статистика обхода в дни до падения	Всплеск ошибочных ответов накануне указывает на технический сбой, а не на удаление

Ключевой признак прост: несуществующие адреса отнимают позиции у самих себя, а не у соседних страниц. Если категория, которая никуда не девалась, потеряла позиции, а её карточки на месте, причину надо искать в другом месте — в изменении содержимого, в скорости, в конкурентах, в переоценке коммерческих факторов. Список мёртвых адресов в этой ситуации является отвлекающим фактором.

Страница-заглушка как инструмент удержания

Если нужна помощь по теме — бесплатный аудит сайта.

Полностью избавиться от попаданий на несуществующие адреса невозможно — люди приходят по старым закладкам, по ссылкам из чужих статей, по адресам из рекламных материалов, напечатанных два года назад. Значит, у страницы-заглушки есть постоянный поток посетителей, и это единственный аспект темы, где вы влияете на поведение людей напрямую.

Что должна делать такая страница:

Подробнее об этом — в статье «Влияет ли HTTPS на позиции сайта».

• Отдавать настоящий код 404. Красивая заглушка с кодом 200 — это описанная выше мягкая ошибка, размноженная на все опечатки посетителей.
• Выглядеть как ваш сайт. Та же шапка, то же меню, тот же логотип. Человек должен понимать, что он на месте, а не выпал куда-то в системное сообщение.
• Объяснять произошедшее человеческим языком. «Такой страницы больше нет» понятнее, чем «Ошибка 404 Not Found».
• Предлагать следующий шаг. Строка поиска по сайту, ссылки на главные разделы, для магазина — популярные категории. Не одна ссылка «на главную», а несколько осмысленных направлений.
• Не содержать формы заказа с автоподстановкой несуществующего товара. Мелочь, которая иногда встречается в шаблонах магазинов и выглядит как насмешка.

Если хочется измерить эффект, настройте в системе аналитики отдельное событие на показ заглушки. Через месяц вы увидите две полезные вещи: сколько людей туда попадает и с каких адресов. Второе — готовый список приоритетов: адреса, по которым живые люди приходят чаще всего, стоит закрыть переадресацией на подходящий раздел, даже если поиск про них давно забыл.

Массовое появление ошибок после переезда: порядок действий

Отдельный сценарий, в котором ошибки действительно двигают позиции — смена структуры адресов. Каталог перевели на новые пути, разделы переименовали, домен сменили. Здесь счёт идёт на дни, и порядок работы важнее полноты.

Очередь	Что делаем	Зачем именно так
Первая	Собрать адреса, которые за последний год приносили переходы из поиска, и сопоставить каждому новый адрес	Это те документы, потеря которых немедленно бьёт по трафику
Вторая	Настроить переадресацию сразу на конечный адрес, без промежуточных шагов	Цепочки переходов замедляют обход и размывают передачу веса
Третья	Проверить, что переадресация ведёт на смысловой аналог, а не на главную или на общую категорию	Несвязанная цель трактуется как пустышка, и вес не передаётся
Четвёртая	Обойти сайт краулером и заменить внутренние ссылки на новые адреса	Внутренние ссылки должны вести напрямую, переадресация — страховка для внешнего мира
Пятая	Пересобрать карту сайта и отправить новые адреса на переобход	Ускоряет замену старых документов новыми в индексе
Шестая	Через две недели свериться со статистикой обхода и добрать пропущенное	Часть старых адресов всплывает только после того, как робот дойдёт до глубоких разделов

Переадресацию со старых адресов не снимают через месяц и не снимают через полгода. Внешние ссылки и закладки живут годами, и каждый снятый переход — это возвращённая потеря веса. Единственная причина убирать правило — оно конфликтует с новым адресом, который вы решили использовать.

Частые вопросы

Понижают ли сайт за большое количество ошибок 404? Нет. Отдельного фактора «доля недоступных адресов» в ранжировании не существует. Понижение, которое владельцы связывают с ошибками, почти всегда объясняется тем, что вместе с адресами исчезли документы, которые приносили показы. Проверяется это сравнением числа страниц в поиске до и после.

Нужно ли закрывать несуществующие адреса от обхода в robots.txt? Не нужно, и это делает хуже. Запрет обхода мешает роботу получить код ответа, а без кода ответа адрес не выпадает из индекса — он остаётся там в подвешенном состоянии. Пусть робот свободно доходит до адреса и получает честную ошибку.

Чем 410 отличается от 404 с точки зрения позиций? Итог одинаковый: адрес выпадает из индекса, вес не передаётся. Разница в скорости — при 410 поиск понимает, что удаление окончательное, и повторно приходит реже. Практический смысл появляется на больших объёмах: если вы разово удалили тысячи карточек и хотите, чтобы обход быстрее переключился на живые страницы, 410 даёт выигрыш. На малом сайте разница незаметна.

Стоит ли переадресовывать все удалённые страницы на главную, чтобы очистить отчёт? Нет. Отчёт очистится, проблема останется, а вы потеряете возможность её видеть. Несвязанная переадресация трактуется как мягкая ошибка со всеми последствиями: вес не переходит, страница выпадает, а причину вы уже не отследите.

Как быстро выпадет из поиска удалённая страница? От нескольких дней до полутора-двух месяцев в зависимости от частоты обхода. Ускорить можно отправкой адреса на переобход в панели вебмастера — робот придёт раньше и раньше зафиксирует ошибку.

Восстановится ли позиция, если вернуть удалённую страницу обратно? Частично и не сразу. Если адрес вернулся тем же и содержимое совпадает, позиции обычно восстанавливаются в течение нескольких обходов, хотя редко до прежнего уровня сразу. Чем дольше страница отсутствовала, тем медленнее возврат. Возвращать под другим адресом — почти то же самое, что публиковать заново.

Коротко

• Отдельного штрафа за ошибки 404 нет: поиск помечает адрес недоступным и со временем убирает его из индекса, не трогая остальной сайт.
• На позиции влияет не код ответа, а исчезновение документа, который приносил показы; резкая просадка объясняется только этим каналом.
• Мягкие ошибки — пустая страница с кодом 200 или переадресация всего подряд на главную — вреднее честных: они остаются в индексе и не видны в отчётах.
• Разбирать список ошибок нужно по источнику: сначала адреса, на которые ссылаетесь вы сами и ваша карта сайта, потом всё остальное.
• Самый дорогой случай — когда 404 отдаёт живая нужная страница; для ключевых адресов имеет смысл держать регулярную проверку кода ответа.
• Страница-заглушка должна отдавать настоящий код 404 и вести человека дальше: поиск по сайту и осмысленные разделы вместо одной ссылки на главную.

Если после чистки каталога или смены структуры адресов сайт потерял часть трафика и непонятно, какие именно документы выпали и что из этого возвращается переадресацией, приходите на SEO-консультацию: посмотрим статистику обхода и страницы в поиске вместе и составим список адресов, которые стоит закрывать в первую очередь.