
Битые ссылки — самая незаметная из технических проблем сайта: ничего не падает, ошибок в админке нет, письма от хостинга не приходят. Просто часть посетителей упирается в пустую страницу и уходит, а робот раз за разом тратит обход на адреса, за которыми ничего нет. На небольшом сайте это десяток лишних кликов в никуда, на каталоге в несколько тысяч товаров — уже заметная доля обхода и часть внутреннего веса, которая никуда не приходит.
В SEO я с 2005 года, и в аудитах эта проблема встречается чаще любой другой — не потому, что владельцы небрежны, а потому, что битые ссылки появляются сами. Их создаёт обычная жизнь сайта: снятый с продажи товар, переименованный раздел, удалённая новость, замена движка. Ниже — как отличить битую ссылку от похожих на неё вещей, где искать полный список, чем закрывать каждый тип и как выстроить порядок, при котором новые ссылки не появляются быстрее, чем вы чините старые.
Что считается битой ссылкой и чем она отличается от страницы 404
Битой называют ссылку, которая ведёт на адрес, не отдающий рабочего документа. Чаще всего сервер отвечает кодом 404 «не найдено», но вариантов больше: 410 «удалено навсегда», 403 «доступ запрещён», 500 «внутренняя ошибка сервера», а иногда — бесконечная загрузка без ответа вообще. Для посетителя все эти случаи выглядят одинаково: он нажал и никуда не попал.
Важно развести два понятия, которые постоянно путают. Битая ссылка — это элемент на странице, атрибут href, указывающий не туда. Страница 404 — это то, что сайт показывает в ответ на запрос несуществующего адреса. Первое чинится правкой ссылки или настройкой переадресации, второе — оформлением шаблона. Ошибка 404 сама по себе не вредна: она честно сообщает поиску, что документа нет, и робот со временем убирает адрес из индекса. Вредны именно ссылки, которые на неё ведут.
Отдельная категория — так называемые мягкие 404. Это когда несуществующий адрес отдаёт код 200 «всё в порядке», но показывает пустую карточку, страницу с надписью «ничего не найдено» или молча редиректит на главную. Для человека это тупик, для поиска — рабочая страница, которую он честно добавляет в индекс. В результате в поиске накапливаются десятки пустышек, размывающих оценку сайта. Мягкие 404 опаснее обычных, потому что не видны ни в одном отчёте об ошибках — их приходится искать отдельно.
| Ответ сервера | Что видит посетитель | Что понимает поиск | Нужно ли чинить |
|---|---|---|---|
| 404 «не найдено» | Заглушку об ошибке | Документа нет, адрес постепенно выпадет | Чинить ссылки, ведущие сюда |
| 410 «удалено» | Ту же заглушку | Документ удалён намеренно, выпадет быстрее | Тот же порядок, но выпадение быстрее |
| 403 «запрещено» | Отказ в доступе | Страница есть, но закрыта | Да, проверить права доступа |
| 500 и другие 5xx | Ошибку или белый экран | Сбой, вернусь позже | Срочно, это поломка сервера |
| 200 на пустой странице | Пустоту или «ничего не найдено» | Полноценную страницу | Да, отдавать корректный код |
Строку про 5xx стоит запомнить отдельно. Если краулер массово приносит пятисотые ответы, речь идёт не о битых ссылках, а о том, что сервер не справляется с нагрузкой или падает на конкретных типах страниц. Разбирать это как ссылочную проблему бессмысленно — сначала нужно чинить хостинг или код.
Откуда битые ссылки берутся
Причины делятся на две группы: то, что происходит внутри сайта, и то, что происходит за его пределами. Внутренние вы контролируете полностью, внешние — почти никак.
- Удаление страницы без замены адреса. Товар кончился, услугу закрыли, акция прошла. Страницу убрали, а ссылки на неё остались в меню, в тексте статей, в блоках «похожие» и в карте сайта.
- Смена структуры адресов. Перевели каталог с числовых адресов на человекопонятные, перенесли раздел на уровень выше, добавили или убрали язык в пути. Все старые адреса разом стали несуществующими.
- Опечатки в ручных ссылках. Лишний пробел, продублированный слэш, пропущенная буква, случайно попавший внутрь адреса кусок разметки. В текстах статей это самый частый источник.
- Переезд между движками. Экспорт-импорт почти никогда не сохраняет адреса один в один, а редакторы часто переносят содержимое копированием, вместе с внутренними ссылками старого формата.
- Изменение регистра и формата. Часть серверов различает заглавные и строчные буквы в пути. Ссылка со «Uslugi» вместо «uslugi» на таком сервере битая.
- Динамика на стороне движка. Товар скрыли, но карточка осталась в фильтрах и в поиске по сайту, где ссылка генерируется автоматически.
- Внешние ресурсы. Сайт, на который вы ссылались, закрылся, сменил домен или переделал структуру. Ссылка в вашей статье стала битой без вашего участия.
Отдельно упомяну сценарий, который в аудитах даёт больше всего битых адресов сразу: чистка каталога перед сезоном. Магазин убирает несколько сотен позиций, снятых с производства, и получает несколько сотен адресов, на которые ведут ссылки из фильтров, подборок, карточек «с этим товаром покупают» и внешних площадок-агрегаторов. Разовое действие в админке превращается в недельную работу по разбору.
Чем битые ссылки вредят на самом деле
Здесь важно не преувеличивать. Поиск не наказывает сайт за наличие 404 — это нормальная часть жизни любого ресурса. Вред проявляется через три механизма, и каждый работает независимо от остальных.
Потеря посетителей. Человек, попавший в тупик, редко возвращается назад — чаще он закрывает вкладку и возвращается в выдачу. Если тупик встретился на пути к покупке (ссылка из карточки в раздел с доставкой, ссылка из статьи на форму заявки), теряется не визит, а обращение.
Расход обхода. У робота есть ограничение на число обращений к сайту за единицу времени. Каждое обращение к несуществующему адресу вычитается из этого лимита. На сайте в двести страниц это неважно. На каталоге в двадцать тысяч, где половина обхода уходит в удалённые карточки, новые товары попадают в поиск неделями вместо дней.
Тему разбирал отдельно: «404, 301, 302: как битые ссылки и неправильные редиректы крадут вес страниц».
Разрыв внутренних связей. Внутренние ссылки распределяют вес по сайту. Ссылка на несуществующий адрес уносит этот вес в никуда: страница-донор отдала, страница-получатель не получила. Если битые ссылки стоят в сквозных элементах — в меню, в подвале, в шаблонном блоке, — потеря умножается на число страниц сайта.
Есть и косвенный эффект, который сложно измерить, но легко объяснить. Асессоры и алгоритмы оценки качества смотрят на признаки ухоженности ресурса. Сайт, где половина ссылок в разделе ведёт в никуда, выглядит заброшенным, и это влияет на общую оценку доверия наравне с отсутствием контактов или устаревшими ценами.
Где искать полный список битых ссылок
Помогу с продвижением: продвижение сайтов белыми методами — вывожу сайты в топ Яндекса белыми методами.
Ни один инструмент не показывает картину целиком — у каждого своя слепая зона. Рабочий подход: собрать данные из трёх-четырёх источников и объединить.
| Источник | Что показывает | Чего не увидит |
|---|---|---|
| Яндекс.Вебмастер, раздел «Страницы в поиске» и «Ошибки» | Адреса с 404, которые робот уже находил, и страницы, выпавшие из поиска | Ссылки, по которым робот ещё не ходил; мягкие 404 |
| Google Search Console, отчёт об индексировании | Не найденные адреса и «мягкие 404» отдельной категорией | Внутренние ссылки на страницах, закрытых от индексации |
| Краулер сайта (Screaming Frog, Netpeak Spider, SiteAnalyzer) | Все внутренние и внешние ссылки с кодом ответа и списком страниц-доноров | Адреса, на которые нет ссылок с сайта, но есть внешние |
| Логи сервера | Реальные обращения людей и роботов к несуществующим адресам | Ничего не пропустит, но требует разбора и фильтрации мусора |
| Метрика и внутренний поиск | Как часто открывается шаблон 404 и с каких страниц на него приходят | Точный список ссылок-доноров |
Самое ценное в краулере — не сам список ошибок, а колонка с адресами страниц, где стоит битая ссылка. Без неё вы знаете, что адрес мёртв, но не знаете, что править. Именно эта колонка превращает список в задачу, которую можно раздать по исполнителям.
Как отбирать площадки, чтобы не платить за пустоту:
Логи сервера стоит подключать, когда список из краулера уже разобран, а обращения к несуществующим адресам продолжаются. Так находятся ссылки с чужих сайтов, из рассылок, из старых печатных материалов и QR-кодов — то, чего в разметке вашего сайта нет и быть не может.
Отдельно советую настроить в Метрике цель на открытие страницы 404 и посмотреть отчёт по источникам за месяц. Если в тупик регулярно приводит один и тот же переход — например, конкретная позиция меню на мобильных, — вы найдёте её за пять минут вместо полного обхода сайта.
Что делать с найденным адресом: порядок решения
Главная ошибка при разборе — закрывать всё подряд переадресацией на главную. Это создаёт мягкие 404 массово: человек ждал товар, а попал на витрину, поиск ждал документ, а получил дубль главной. Решение зависит от того, что именно было по адресу и есть ли этому замена.
Смежный материал по теме — «Индексация сайта: что это такое и как она работает».
| Ситуация | Что делать | Почему так |
|---|---|---|
| Опечатка в адресе, страница существует | Исправить ссылку в разметке | Переадресация тут лишняя, проблема в тексте ссылки |
| Страница переехала, содержимое то же | Постоянная переадресация на новый адрес | Сохраняет вес и историю старого адреса |
| Товар снят, есть близкий аналог | Переадресация на аналог или на карточку с пометкой | Посетитель получает то, за чем шёл |
| Товар снят, аналога нет | Оставить 404 или отдать 410, убрать ссылки | Честный ответ лучше подмены; адрес выпадет из поиска |
| Раздел закрыт целиком | 410 на все адреса раздела, ссылки снять | Быстрое и однозначное выпадение из индекса |
| Страница удалена по ошибке, содержимое ценно | Восстановить по архиву или из резервной копии | Возврат позиций дешевле, чем создание с нуля |
| Внешний сайт закрылся | Убрать ссылку или заменить источник | Чужой адрес вы починить не можете |
Про восстановление стоит сказать подробнее, потому что этот вариант почти всегда забывают. Если у адреса была история — на него ссылались, он приводил трафик, он держал позиции по группе запросов, — восстановить содержимое выгоднее, чем перенаправлять. Черновик можно найти в резервной копии базы, в корзине движка, в кэше поиска или в веб-архиве. После публикации по прежнему адресу страница обычно возвращает часть позиций в течение нескольких обходов, потому что для поиска это не новый документ, а вернувшийся старый.
При массовом разборе удобно работать группами, а не по одной ссылке. Отсортируйте список по общей части адреса: почти всегда обнаружится, что триста мёртвых адресов — это три шаблонных случая по сотне. Один правильно составленный шаблон переадресации закрывает всю группу, и работа сокращается с недели до часа.
Когда 404, а когда 410
Оба кода говорят, что документа нет, но с разным оттенком. 404 означает «не найдено» — возможно, временно, возможно, вы ошиблись адресом. 410 означает «удалено намеренно и навсегда». Поисковые роботы возвращаются к адресам с 404 ещё некоторое время, надеясь, что страница появится; адреса с 410 выбрасываются из очереди обхода быстрее.
Практический вывод простой. Для единичных случаев разница несущественна — ставьте 404 и не усложняйте. Код 410 имеет смысл, когда вы разом убираете большую группу адресов и хотите, чтобы робот перестал тратить на них обход: закрытый филиал с сотней страниц, снятая линейка товаров, удалённый раздел с пользовательскими объявлениями. На каталоге, где ежемесячно выбывают сотни позиций, настроенный 410 заметно экономит лимит обхода.
Чего делать не стоит ни в том, ни в другом случае — закрывать удалённые адреса от индексации через robots.txt. Робот тогда просто не сможет зайти и увидеть код ответа, и адрес зависнет в промежуточном состоянии на неопределённый срок. Чтобы страница выпала из поиска, робот должен получить ответ, а не запрет на вход.
Внешние ссылки на чужие сайты: отдельная история
Если нужна помощь по теме — обучение SEO-продвижению.
Ссылки на сторонние ресурсы стареют сами. По моим наблюдениям на статейных проектах, за три-четыре года примерно каждая пятая внешняя ссылка перестаёт работать: источник закрылся, сменил домен, перенёс материал или спрятал его за регистрацию.
Порядок действий тут другой, чем с внутренними. Переадресацию поставить нельзя — адрес чужой. Варианты три: найти материал по новому адресу и заменить ссылку, заменить источник на равноценный, снять ссылку и оставить упоминание текстом. Последний вариант применяют, когда ссылались на исследование или документ, который важен как факт, но найти его больше негде.
Если нужны детали, смотрите «Что такое сертификат SSL».
Проверять внешние ссылки достаточно раз в полгода — быстрее они не портятся. Краулер умеет обходить их отдельным режимом, и на статейном сайте эта проверка занимает один прогон. Если внешних ссылок много и они лежат в текстах, имеет смысл сразу вести список: адрес, страница-донор, дата проверки.
Страница 404, которая возвращает людей
Заглушка не отменяет необходимости чинить ссылки, но определяет, уйдёт человек или продолжит путь. Разница между шаблонной надписью «Error 404» и продуманной страницей — десятки процентов возвратов в навигацию.
- Понятное объяснение без техники. «Такой страницы нет — возможно, товар снят с продажи или адрес набран с ошибкой» вместо кода ошибки.
- Строка поиска по сайту. Самый работающий элемент: человек уже знает, что ищет.
- Ссылки на основные разделы. Каталог, услуги, контакты — три-четыре пункта, не полная карта сайта.
- Контакты и телефон. Часть посетителей после тупика предпочитает спросить, а не искать.
- Общая шапка и меню сайта. Заглушка не должна выглядеть как чужая страница.
- Правильный код ответа. Страница обязана отдавать 404 или 410, а не 200. Проверяется в панели разработчика браузера на вкладке сети.
Чего на 404 быть не должно: автоматической переадресации на главную через несколько секунд и рекламных блоков. Первое лишает человека возможности перечитать адрес и понять, что пошло не так, второе выглядит как попытка заработать на чужой ошибке.
Как не создавать битые ссылки заново
Разовая чистка держится ровно до следующей правки каталога. Чтобы список не отрастал заново, нужен короткий порядок из четырёх правил — их достаточно, чтобы закрыть большинство сценариев.
- Ничего не удалять без решения об адресе. Перед удалением страницы отвечаете на вопрос: переадресуем, отдаём 410 или скрываем из выдачи, оставив доступной. Решение принимается до удаления, а не после.
- Смена адресов — всегда с картой соответствий. Файл из двух колонок: старый адрес, новый адрес. Он же становится основой для правил переадресации и для проверки после переезда.
- Проверка краулером после каждого крупного изменения. Обновили движок, поменяли шаблон, перенесли раздел — прогон обхода в тот же день, пока помните, что меняли.
- Регулярный график. Небольшой сайт — раз в квартал. Каталог с постоянным движением товаров — раз в месяц. Плюс отчёт Вебмастера раз в две недели, он занимает пять минут.
Отдельным пунктом — правило для редакторов. Внутренние ссылки в статьях ставятся только выбором страницы из списка движка, а не копированием адреса из адресной строки. Копирование приносит в текст адреса с параметрами сессии, с якорями, с домена админки и просто с опечатками. Выбор из списка исключает половину сценариев появления битых ссылок в текстах.
Частые вопросы
Сколько битых ссылок считается допустимым? Абсолютного порога нет. Ориентируйтесь на долю: если ошибки составляют единицы процентов от числа внутренних ссылок и не стоят в сквозных элементах — это рабочая ситуация. Тревожный признак — битые ссылки в меню, в подвале и в шаблонных блоках: они размножаются на весь сайт.
Понижает ли поиск сайт за 404? Прямого понижения за наличие 404 нет — иначе пострадал бы любой живой каталог. Понижение приходит через последствия: расход обхода, потерянный внутренний вес, поведение посетителей, общее впечатление заброшенности.
Можно ли просто перенаправить все 404 на главную? Технически можно, практически не нужно. Поиск распознаёт такую переадресацию как подмену и обрабатывает адреса как мягкие 404, а посетитель не находит того, за чем шёл. Массовая переадресация оправдана только тогда, когда группа адресов действительно переехала в одно место.
Что делать со ссылками с чужих сайтов на удалённые страницы? Если по адресу была ценная страница и на неё ссылаются, лучший вариант — восстановить содержимое или перенаправить на близкий по смыслу документ. Тогда внешняя ссылка продолжает передавать вес. Если замены нет — оставьте 404, ссылка просто перестанет работать.
Помогает ли плагин, который сам ищет битые ссылки? На небольшом сайте — да, как средство мониторинга. На крупном такие плагины заметно нагружают сервер постоянными проверками, и надёжнее прогонять внешний краулер по расписанию.
Нужно ли чинить битые ссылки на страницах, закрытых от индексации? Для поиска — нет, для посетителей — да, если эти страницы кто-то открывает. Личный кабинет и служебные разделы вне индекса, но люди ими пользуются.
Коротко
- Битая ссылка — это ссылка в разметке, ведущая в никуда; страница 404 — заглушка, которую сайт показывает в ответ. Чинят первое, оформляют второе.
- Опаснее обычных 404 мягкие: несуществующий адрес отдаёт код 200, поиск считает его рабочей страницей и держит в индексе.
- Вред идёт тремя путями: уход посетителей из тупика, расход лимита обхода и потеря внутреннего веса, особенно если ссылка стоит в сквозном блоке.
- Полный список собирается из нескольких источников: Вебмастер и Search Console, краулер с колонкой страниц-доноров, логи сервера, отчёт Метрики по 404.
- Решение зависит от случая: опечатку правят в ссылке, переезд закрывают переадресацией, снятый товар без аналога оставляют на 404 или 410, ценную удалённую страницу восстанавливают.
- Чтобы список не отрастал, решение об адресе принимается до удаления страницы, а после каждого крупного изменения делается прогон краулера.
Если у вас в отчётах сотни ошибок и непонятно, с какой группы начинать и что из этого реально влияет на трафик, приходите на SEO-консультацию: разберём отчёты вместе, отделим шум от настоящих потерь и составим порядок разбора под ваш сайт.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Остались вопросы по продвижению?
Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе и Google.
Связаться со мной →
Комментарии
Зоя Осетрова
Прогнала краулер, получила 1400 ошибок и села. Оказалось, 1100 из них — это фильтры каталога, которые генерят адреса с параметрами, а потом сами же отдают 404 на несуществующие сочетания. Чинить каждую бессмысленно. Как правильно с такими поступать — закрывать генерацию или отдавать ответ?
Анатолий Кузнецов автор
Правильно поступать с причиной, а не со следствием. Фильтр не должен показывать ссылку на сочетание, в котором ноль товаров — это настройка вывода фильтра, и решается она один раз в шаблоне. Пока так не сделано, вы будете чинить бесконечно, потому что остаток товаров меняется каждый день. Вторым шагом посмотрите, какие сочетания вы вообще хотите видеть в поиске: обычно ценность есть у одного-двух параметров, а остальные лучше закрывать от индексации и не давать на них ссылок. И проверьте, что сочетание с нулём товаров отдаёт именно 404, а не пустую страницу с кодом 200 — вот это в вашем списке из 1400 может быть не видно вовсе.
Андрей Печёнкин
Про восстановление удалённой страницы из архива — рабочий совет, подтверждаю. У нас программист снёс раздел с обзорами при обновлении движка, бэкапа за нужную дату не оказалось. Собрали шесть текстов из веб-архива, вернули на прежние адреса. Через полтора месяца показы по ним вернулись примерно на прежний уровень.
Милана Пантюхина
Не соглашусь про 410. Читала у нескольких специалистов, что разницы с 404 в реальности никакой, поиск обрабатывает одинаково, а лишний код в конфиге — это лишняя точка отказа. Зачем усложнять?
Анатолий Кузнецов автор
На сайте в двести страниц разницы вы действительно не заметите, и там я тоже за 404 — вы правы, что лишняя конструкция в конфиге это риск. Разница видна на объёме. Когда из каталога ежемесячно выбывает три-четыре сотни карточек, адреса с 404 робот продолжает перепроверять месяцами, и в отчёте обхода накапливается хвост, который съедает лимит. С 410 хвост короче. Проверить это на своём сайте можно без веры на слово: возьмите в Вебмастере статистику обхода, отфильтруйте по коду ответа и посмотрите, какую долю обращений занимают несуществующие адреса. Если меньше пяти процентов — не трогайте, вы правы. Если четверть — есть смысл.
Тихон Пастухов
Добавлю про регистр в адресах. Переехали с виндового хостинга на линуксовый, и половина ссылок с заглавными буквами в пути легла разом. На старом сервере работало, на новом нет. Вылечили правилом приведения адреса к нижнему регистру, но искали причину два дня.
Савелий Пирогов
Вопрос по мягким 404. У меня карточка снятого товара показывает надпись «нет в наличии» и предлагает похожие. Код отдаёт 200. Это считается мягкой 404 или нормальный вариант? Товар может вернуться в продажу.
Анатолий Кузнецов автор
Ваш случай — нормальный вариант, и трогать его не надо. Мягкая 404 это когда за адресом нет содержимого вообще, а сервер делает вид, что всё в порядке. У вас содержимое есть: описание товара, характеристики, фотографии, блок аналогов. Страница отвечает на запрос человека, который искал этот товар, и честно говорит, что его сейчас нет. Код 200 тут правильный. Дополнительно советую держать на такой карточке цену последней продажи и форму «сообщить о поступлении» — это превращает тупик в контакт. А вот если товар снят навсегда и возвращаться не будет, тогда решайте по таблице: есть близкий аналог — переадресация, нет — 404.
Серафима Обухова
Правило про выбор страницы из списка вместо копирования адреса стоит повесить над столом редактора. У нас в текстах регулярно всплывали ссылки с адресом административной панели внутри — авторы копировали из режима предпросмотра.
Пётр Осколков
У меня шаред-хостинг, логи хранятся три дня, поэтому пошёл другим путём: настроил в Метрике цель на просмотр шаблона 404 и добавил в отчёт параметры адреса и источника перехода. За месяц накопилась картина не хуже логов — по крайней мере по живым людям. Робота смотрю отдельно, в статистике обхода Вебмастера с фильтром по коду ответа.
Яков Парфёнов
Про внешние ссылки и срок жизни — по нашему архиву за пять лет умерло примерно тридцать процентов, а не двадцать. Особенно быстро дохнут ссылки на новостные материалы и на страницы сервисов. Ссылки на документы и справочники живут дольше всех.
Алиса Пазухина
У нас 404 сделали красивую, с картинкой и анимацией, но проверила через панель разработчика — отдаёт 200. То есть всё это время поиск считал её обычной страницей? В индексе действительно висят несколько адресов с ошибками.
Анатолий Кузнецов автор
Да, именно так, и это очень частый случай — красивую заглушку рисуют дизайнеру, а код ответа никто не проверяет. Порядок починки такой. Сначала найдите, как заглушка выводится: если это отдельная страница движка, на которую идёт переадресация, то переадресацию надо убрать и отдавать содержимое прямо по запрошенному адресу с кодом 404. Затем проверьте результат через панель разработчика на вкладке сети — там в первой строке должен стоять именно 404. После этого пройдите по адресам, которые уже попали в индекс, и убедитесь, что теперь они тоже отдают ошибку. Выпадут они не сразу, обычно за несколько обходов.
Тамара Посохина
Совет группировать ошибки по общей части адреса сэкономил мне неделю. Из 800 битых адресов получилось четыре шаблона: старый формат карточек, старый формат категорий, удалённый языковой раздел и мусор от прошлого движка. Четыре правила закрыли всё.
Наум Палкин
Вопрос про сквозные блоки. У меня в подвале ссылка на страницу с сертификатами, которую удалили полгода назад. Получается, эта одна ссылка бьётся на всех трёх тысячах страниц сайта. Насколько это критично по сравнению с обычной битой ссылкой в тексте?
Анатолий Кузнецов автор
Критичнее ровно во столько раз, сколько у вас страниц, и это не преувеличение. Каждая из трёх тысяч страниц отдаёт часть своего веса ссылке, которая никуда не приходит. Плюс робот, обходя сайт, снова и снова натыкается на один и тот же мёртвый адрес и тратит на него обращения. Плюс любой посетитель, который ищет сертификаты, попадает в тупик — а ищут их обычно перед тем, как принять решение. Чинится это в одну правку шаблона подвала: либо восстановите страницу, если документы никуда не делись, либо снимите пункт. Я бы начинал разбор любого списка ошибок именно с проверки меню, подвала и шаблонных блоков — там мало адресов, но эффект от починки самый заметный.
Вячеслав Пономарёв
Про robots.txt — отдельное спасибо. Мы как раз закрыли удалённый раздел от индексации, чтобы «быстрее выпал», и полгода не понимали, почему адреса продолжают висеть в поиске. Открыли обратно, робот получил ошибку, и за месяц всё ушло.