Коды ответа сервера: руководство с примерами использования

Коды ответа сервера посетитель не видит никогда, а поисковый робот не видит почти ничего, кроме них. Человек смотрит на страницу и делает вывод «работает». Робот смотрит на трёхзначное число в служебной части ответа и делает совершенно другой вывод, иногда прямо противоположный. Расхождение между этими двумя картинами и есть причина, по которой сайты годами теряют страницы из индекса при полном визуальном порядке.

В SEO с 2005 года, и проверку кодов ответа ставлю в аудите первым пунктом — раньше текстов, раньше ссылок, раньше структуры. Логика простая: если страница отдаёт не тот статус, всё остальное на ней не имеет значения, потому что до ранжирования она попросту не доходит. Ниже — что означает каждая группа кодов, где их чаще всего настраивают неправильно и как проверить своё хозяйство за один вечер.

Как устроен ответ сервера и кто его читает

При каждом обращении к адресу сервер возвращает две части: служебные заголовки и содержимое. Код ответа лежит в самой первой строке заголовков и состоит из трёх цифр. Первая цифра задаёт группу, две остальные уточняют ситуацию внутри группы.

• 1xx — служебные, промежуточные. Владельцу сайта в работе не встречаются.
• 2xx — запрос выполнен. Основной код здесь 200.
• 3xx — содержимое находится по другому адресу, надо перейти туда.
• 4xx — проблема на стороне запроса: адреса нет, доступ закрыт, слишком много обращений.
• 5xx — проблема на стороне сервера: он не смог обработать корректный запрос.

Ключевое свойство этой системы: код и содержимое страницы независимы. Сервер может вернуть 200 вместе с текстом «страница не найдена», а может вернуть 404 вместе с полноценной страницей товара. Браузер покажет содержимое и в том, и в другом случае, а робот примет решение по коду. Отсюда весь класс ошибок, которые невозможно заметить глазами.

Второе важное свойство: робот принимает по коду не одно решение, а несколько. Индексировать ли страницу, обновлять ли уже сохранённую версию, переносить ли накопленные сигналы на другой адрес, стоит ли возвращаться сюда завтра или через месяц, снижать ли темп обхода всего сайта. Один неверный статус на массовом шаблоне влияет на все эти решения одновременно.

Группа 2xx: успех и его подделка

Рабочие страницы сайта должны отдавать 200. Робот получает этот код, считает адрес существующим и отправляет содержимое на обработку. Проблемы в этой группе начинаются не тогда, когда 200 нет там, где он нужен, а когда он есть там, где не нужен.

Так называемая мягкая 404 — страница, которая сообщает человеку об отсутствии материала, но отдаёт роботу код успеха. Возникает она обычно тремя способами: удалённый товар подменяется страницей-заглушкой, несуществующий адрес переадресуется на главную, а результат поиска по сайту с нулём находок отдаётся как обычная страница. Во всех трёх случаях поиск получает сигнал «здесь есть содержимое» и начинает копить в индексе пустышки.

Последствия у этого накопления неприятные и отложенные. Индекс сайта раздувается адресами, которые ничего не содержат, средняя оценка качества по сайту снижается, а обход тратится на страницы без ценности вместо новых карточек и статей. На магазине с большим оборотом ассортимента таких адресов набираются тысячи, и заметить это можно только в отчёте Вебмастера по исключённым страницам — там для них есть отдельная категория.

Есть и обратная ситуация: код 204 означает успешную обработку без содержимого. Для страниц сайта он не подходит совсем — робот получает пустоту при формально успешном ответе. Встречается в проектах, где формы или служебные обработчики случайно попали в общий шаблон адресов.

Группа 3xx: перенаправления и их назначение

Здесь сосредоточена большая часть решений, влияющих на поиск. Перенаправление говорит роботу не только «иди по другому адресу», но и «как надолго это и что делать с накопленным весом старого адреса».

Смежный материал по теме — «Руководство по поисковой оптимизации сайтов».

Код	Смысл	Когда применять	Что происходит с сигналами
301	Перемещено навсегда	Смена адреса страницы, склейка домена, переезд на защищённый протокол	Старый адрес выпадает из индекса, сигналы переносятся на новый
302	Найдено по другому адресу, временно	Товар временно недоступен, страница на переделке на несколько дней	В индексе остаётся старый адрес, сигналы никуда не переносятся
304	Не изменялось с прошлого обращения	Отдаётся автоматически при повторном обращении к неизменившемуся файлу	Экономит обход, содержимое не передаётся повторно
307	Временное перенаправление со строгим сохранением метода запроса	Технические сценарии, обработка форм	Как 302, но без изменения способа обращения
308	Постоянное со строгим сохранением метода	Технические сценарии, где важно сохранить способ обращения	Как 301

Практическая часть сводится к выбору между 301 и 302, и ошибка здесь стоит дороже всего. Временное перенаправление, поставленное вместо постоянного, оставляет в индексе старые адреса и не передаёт на новую страницу ничего. Обратная ошибка — постоянное вместо временного — приводит к тому, что вернуть старый адрес в индекс потом трудно: поиск уже принял решение о переезде.

Отдельная тема — цепочки. Перенаправление на адрес, который сам перенаправляет дальше, работает, но каждое звено ослабляет передачу и тратит обход. Три звена — уже проблема, пять — почти гарантия, что до конечного адреса робот не дойдёт. При любом переезде цепочки надо схлопывать: старый адрес должен вести сразу на конечный, а не через промежуточные версии.

Помогу с продвижением: раскрутка сайта в Яндексе — вывожу сайты в топ Яндекса белыми методами.

Ещё одна классическая ошибка — массовое перенаправление всех несуществующих адресов на главную. Логика авторов понятна: чтобы посетитель не видел ошибку. Результат обратный — поиск получает сотни постоянных перенаправлений на одну страницу и трактует это как мягкую 404, только теперь ещё и размазанную по сайту. Правильное поведение при отсутствии страницы — честный 404 с полезной страницей ошибки.

Группа 4xx: чего нет и куда нельзя

Код	Смысл	Типичная причина	Как реагирует поиск
400	Запрос сформирован неверно	Битые ссылки со спецсимволами, обрезанные адреса	Адрес не индексируется
403	Доступ запрещён	Права на файлы, защита от нагрузки, ошибочная блокировка робота	Страница выпадает; массовые 403 для робота обваливают весь сайт
404	Страница не найдена	Материал удалён, адрес набран с опечаткой	Адрес постепенно выводится из индекса
410	Удалено окончательно	Сознательное удаление раздела без замены	Выводится из индекса быстрее, чем при 404
429	Слишком много запросов	Ограничитель нагрузки принял робота за атаку	Робот снижает темп обхода всего сайта
451	Недоступно по юридическим причинам	Ограничение по требованию регулятора	Адрес исключается из выдачи

Про 404 держится живучий миф, что эти ошибки «портят сайт» и их надо истреблять любой ценой. Само по себе наличие 404 нормально: интернет живёт, страницы удаляются, ссылки устаревают. Опасны не они, а две вещи. Первая — внутренние ссылки на несуществующие адреса: посетитель упирается в тупик, а обход тратится впустую. Вторая — 404 на страницах, которые должны существовать: если карточка товара вдруг стала недоступна из-за сбоя выгрузки, это не «нормальная 404», а потеря страницы, которая приносила заявки.

О роли хостинга и настроек сервера в продвижении:

2:36

Код 403 заслуживает отдельного внимания, потому что именно он чаще всего становится причиной внезапного обвала. Средства защиты от нагрузки и антибот-фильтры иногда принимают поисковых роботов за вредный трафик и начинают отдавать им отказ в доступе. Сайт при этом работает для людей идеально, а из индекса за неделю уходят тысячи страниц. Проверять это надо не браузером, а через инструмент проверки ответа сервера в Вебмастере — он обращается к сайту от лица робота.

Разница между 404 и 410 практическая, а не теоретическая. Если раздел закрыт навсегда и замены нет, 410 сообщает об этом однозначно и ускоряет вывод адресов из индекса. Если страница может вернуться — например, товар закончился, но поставки будут, — правильнее оставить страницу доступной, отдавать 200 и честно писать, что товара сейчас нет.

Если нужны детали, смотрите «Внутрихостовая директива: оптимизация и безопасность веб-сервера».

Группа 5xx: когда виноват сервер

Пятая группа означает, что запрос был корректным, но сервер не смог его обработать. Для поиска это самый тревожный сигнал: он говорит не «страницы нет», а «сайт сейчас не в порядке». Робот в такой ситуации не выводит страницу из индекса сразу, но снижает темп обхода и возвращается позже. Если состояние затягивается на недели, страницы начинают выпадать.

• 500 — внутренняя ошибка. Обычно сбой в коде сайта, конфликт модулей, ошибка после обновления. Ищется в журнале ошибок сервера, там будет конкретная строка.
• 502 — неверный ответ от вышестоящего процесса. Частая картина при связке из двух серверов, когда обработчик страницы упал или перезапускается.
• 503 — сервис временно недоступен. Единственный код пятой группы, который можно и нужно использовать сознательно: на время работ.
• 504 — превышено время ожидания. Страница формируется слишком долго: тяжёлый запрос к базе, зависший внешний сервис, выгрузка каталога в час пик.

Код 503 — рабочий инструмент, а не только симптом. Когда сайт закрывается на плановые работы, правильно отдавать именно его, добавив в заголовки указание ожидаемого срока возврата. Тогда робот понимает, что это плановая остановка, не считает страницы исчезнувшими и приходит позже. Закрытие сайта заглушкой с кодом 200 в этой же ситуации приводит к тому, что поиск сохраняет в индексе страницу «ведутся работы» вместо содержимого — и потом показывает её в выдаче.

Отдельно про 504 на больших каталогах. Он редко бывает постоянным: страница открывается в обычное время и отваливается в момент выгрузки товаров или ночного резервного копирования. Робот же обходит сайт круглосуточно и наступает на эти окна регулярно. Найти такое можно только сопоставив время ошибок в журналах сервера с расписанием фоновых задач.

Где коды настроены неправильно чаще всего

Ситуация	Как обычно сделано	Как правильно
Товар снят с продажи навсегда	Перенаправление на категорию или главную	404 или 410, а при наличии прямой замены — 301 на аналог
Товара временно нет в наличии	Страница скрывается, отдаётся 404	Страница остаётся, отдаёт 200, статус наличия виден на экране
Опечатка в адресе	Показывается страница-заглушка с кодом 200	404 с полезной страницей ошибки и поиском по сайту
Переезд на защищённый протокол	Часть страниц доступна по обоим протоколам	301 со всех незащищённых адресов на защищённые, без исключений
Адреса с завершающим слешем и без	Обе версии отдают 200	Одна версия основная, вторая отдаёт 301 на неё
Плановые работы на сайте	Заглушка с кодом 200	503 с указанием срока возврата
Служебные и личные разделы	Открыты и индексируются	Закрыты авторизацией, для робота 403 или запрет в служебном файле
Пустой результат поиска по сайту	200 и индексируемая страница	Раздел поиска закрыт от индексирования целиком

Строка про слеш выглядит мелочью, но именно она чаще других порождает дубли на десятки тысяч адресов. То же касается адресов с параметрами сортировки и меток рекламных кампаний: если каждая версия отдаёт 200 и открыта для индексирования, поиск получает множество копий одной страницы. Лечится это указанием канонического адреса и настройкой обработки параметров, а не перенаправлениями.

Как проверить коды на своём сайте

Проверка не требует ни разработчика, ни платных инструментов на первом круге. Порядок такой.

1. Проверьте главные страницы поштучно. Инструмент проверки ответа сервера в Яндекс Вебмастере обращается к адресу от лица робота и показывает код с заголовками. Пройдите так по главной, паре страниц услуг, карточке товара, статье блога.
2. Проверьте несуществующий адрес. Допишите к любому адресу вашего сайта случайные символы и посмотрите код. Должен быть 404. Если 200 или 301 на главную — первая задача найдена.
3. Проверьте обе версии протокола и обе версии домена. С защищённым протоколом и без, с приставкой www и без. Должны работать перенаправления на одну основную версию.
4. Обойдите сайт краулером. Он выгрузит таблицу со всеми адресами и их кодами. Отсортируйте по коду и посмотрите на всё, что не 200 и не 301.
5. Посмотрите отчёты Вебмастера. Раздел со статистикой обхода показывает динамику кодов по дням, а раздел исключённых страниц — причины выпадения.
6. Сопоставьте всплески ошибок с журналами сервера. Если в статистике обхода видны периодические скачки пятой группы, ищите совпадение по времени с фоновыми задачами.
7. Проверьте цепочки. В отчёте краулера есть длина цепочки перенаправлений. Всё длиннее двух звеньев — в работу.

Если нужна помощь по теме — проверить сайт.

Повторять полную проверку имеет смысл раз в квартал и обязательно после каждого крупного изменения: переезда, смены платформы, обновления системы управления сайтом, подключения защиты от нагрузки. Именно после таких событий появляется большинство проблем с кодами.

Как коды влияют на индексацию и обход

Робот распределяет ограниченный ресурс обхода между страницами сайта, и коды ответа прямо на это влияют. Механика видна на трёх примерах.

Подробнее об этом — в статье «Постраничный Robots: полное руководство и как это влияет на продвижение сайта».

Первый: сайт, где половина внутренних ссылок ведёт на несуществующие адреса. Обход тратится на получение ошибок, а новые карточки товара ждут своей очереди неделями. Владелец при этом уверен, что проблема в скорости появления страниц в поиске, и просит ускорить индексирование, хотя чинить нужно ссылки.

Второй: сайт за агрессивным фильтром нагрузки, который периодически отдаёт роботу отказ в доступе или ограничение по числу запросов. Робот снижает частоту визитов, обновления страниц перестают доходить до индекса, свежие материалы появляются в выдаче с большим опозданием.

Третий: сайт с длинными цепочками перенаправлений после нескольких переездов подряд. Часть сигналов теряется на каждом звене, часть адресов не дообходится вовсе, и через год после переезда в индексе всё ещё встречаются исходные адреса.

Общий принцип: чем чище картина кодов, тем предсказуемее поведение поиска. Это не даёт роста позиций само по себе, но убирает потери, которые иначе продолжаются постоянно и незаметно.

Типовые сценарии: что отдавать в каждом случае

• Удалили товар, есть прямой аналог. Постоянное перенаправление на аналог. Не на категорию и не на главную.
• Удалили товар, аналога нет. 404, а если раздел закрыт осознанно и навсегда — 410. Страницу-ошибку сделать полезной: поиск по сайту, ссылки на популярные разделы.
• Товар закончился, поставки будут. Страница живёт, код 200, на экране статус наличия и предложение сообщить о поступлении.
• Меняете адреса страниц. Постоянные перенаправления со старых адресов на новые один к одному, обновление внутренних ссылок в шаблонах и текстах, новая карта сайта.
• Переезжаете на другой домен. Постоянные перенаправления постранично, указание переезда в Вебмастере, сохранение старого домена оплаченным минимум на год.
• Закрываете сайт на работы. Код 503 с указанием срока, доступ для себя по адресу или паролю, работы по возможности вне часов активного обхода.
• Раздел временно на переделке. Временное перенаправление или страница-заглушка с кодом 200 и понятным текстом, если раздел небольшой и правки на день.
• Черновики, тестовая копия, служебные адреса. Закрыть авторизацией. Полагаться только на запрет в служебном файле нельзя: адрес всё равно может попасть в выдачу без содержимого.

Частые вопросы

Сколько ошибок 404 допустимо на сайте? Числа как нормы нет. Значение имеет не количество, а происхождение: 404 по внешним ссылкам и опечаткам нормальны, 404 по внутренним ссылкам и на страницах, которые должны работать, — дефект. Смотреть надо не на общее число, а на список источников ссылок в отчёте краулера.

Правда ли, что 301 передаёт не весь вес? Формулировка про проценты — упрощение, которое обсуждают уже пятнадцать лет. Практический вывод не меняется: перенаправление работает лучше всего, когда старая и новая страницы близки по теме, и почти не работает, когда карточка товара ведёт на главную. Потери возникают не от самого кода, а от несоответствия содержимого.

Как узнать код, не устанавливая программ? В Яндекс Вебмастере есть инструмент проверки ответа сервера, он же показывает заголовки. В браузере тот же результат виден в инструментах разработчика на вкладке сетевых запросов: первая строка списка и есть основной документ, рядом с ним код.

Чем отличается 404 от мягкой 404? Кодом, и только им. Настоящая 404 отдаёт статус «не найдено», мягкая показывает такой же текст, но со статусом успеха. Для человека они неразличимы, для поиска — противоположны: первая ведёт к выводу адреса из индекса, вторая к накоплению пустышек.

Стоит ли делать красивую страницу ошибки? Стоит, но не ради поиска, а ради людей. Полезная страница ошибки возвращает часть посетителей в каталог вместо ухода. Требование к ней одно: она должна отдавать именно 404, а не превращаться в мягкую 404 из-за того, что её сделали обычной страницей сайта.

Что делать, если ошибки пятой группы появляются, а разработчика нет? Начните с журнала ошибок на хостинге — он есть в панели управления и содержит точное время и текст сбоя. Дальше сопоставьте время с тем, что происходило: обновление модуля, всплеск посещаемости, ночная выгрузка. В большинстве случаев причина обнаруживается именно этим сопоставлением, и разговор с хостингом получается предметным.

Коротко

• Код ответа и содержимое страницы независимы: человек видит текст, робот принимает решение по трёхзначному числу, и расходятся они часто.
• Мягкая 404 — страница «ничего не найдено» с кодом успеха — засоряет индекс пустышками и снижает общую оценку сайта.
• Выбор между 301 и 302 задаёт судьбу старого адреса: постоянное перенаправление переносит сигналы, временное оставляет всё как было.
• Массовое перенаправление несуществующих адресов на главную — не забота о посетителе, а способ размножить мягкие 404 по всему сайту.
• Коды 403 и 429, выданные роботу защитой от нагрузки, обваливают индекс при полностью рабочем для людей сайте; проверять их надо инструментом Вебмастера.
• На время плановых работ сайт отдаёт 503 с указанием срока, а не заглушку с кодом успеха.

Если страницы сайта пропадают из индекса без понятной причины или обход идёт заметно медленнее, чем хотелось бы, приходите на SEO-консультацию: разберём отчёты Вебмастера и карту кодов ответа вместе и определим, где именно теряются страницы.