Как удалить страницу или сайт из поиска — и когда этого делать не стоит

Удалить сайт из поиска можно быстрее, чем вернуть его обратно, и эта несимметричность — главная причина не торопиться. Справка Яндекс Вебмастера описывает это прямо: после проверки страница пропадает из выдачи в течение суток, а на возвращение после снятия запретов может уйти до трёх недель. То есть одно неосторожное нажатие обходится в три недели без трафика по тем адресам, которые вы убрали сгоряча.

Ниже — что именно делает инструмент удаления, чем «убрать из выдачи» отличается от «закрыть от индексации», как ведёт себя робот при запрете в robots.txt, при коде 404, при 410 и при метатеге noindex, что можно и чего нельзя сделать с чужой страницей, и как за десять минут проверить, не удаляете ли вы источник заявок. Всё, что касается механики, я сверял со справкой Вебмастера, а там, где справка молчит, так и написано.

Зачем вообще убирают страницы из выдачи

Ситуации у малого бизнеса повторяются из раза в раз.

В индекс попало служебное: тестовая версия сайта, страница благодарности с параметрами заказа, выгрузка прайса, черновик, папка с документами. Обычно потому, что при запуске никто не закрыл лишнее, а робот нашёл адреса по ссылкам.

Направление закрыли, а страница висит. Люди звонят и спрашивают про услугу, которой больше нет, а в выдаче красуются старые цены.

На странице оказались персональные данные: договор с ФИО, акт, список клиентов, чей-то телефон в отзыве. Здесь скорость важна, и способ выбирается другой.

Сайт взломали, и в индексе появились чужие страницы. Тут мало убрать их из выдачи, надо сначала вычистить сам сайт. Порядок действий — в материале про то, как убрать спам-страницы из индекса после взлома.

И самая частая — «удалите старый сайт, мы сделали новый». Вот здесь и совершают дорогую ошибку, о которой ниже отдельный раздел.

«Убрать из выдачи» и «закрыть от индексации» — разные вещи

Путаница начинается с того, что эти два действия считают одним. Закрыть от индексации — сказать роботу, что страницу не надо брать в базу. Убрать из выдачи — попросить выкинуть из базы то, что там уже лежит.

Отсюда то, что удивляет большинство владельцев: строчка Disallow в robots.txt сама по себе не выдёргивает страницу из поиска мгновенно. Справка Вебмастера описывает так: страница будет удалена из поисковой базы в течение недели после того, как робот обнаружит ваши указания. И для этого способа есть отдельная оговорка — страница может иногда появляться в результатах поиска, например, если на неё ведут ссылки с других ресурсов.

Вторая ловушка обратная и стоит дороже. Если вы поставили на страницу метатег robots с директивой noindex и одновременно закрыли её в robots.txt, директива не сработает. Справка Яндекса по метатегам формулирует однозначно: если страница запрещена в файле robots.txt, то директива метатега или заголовка не действует. Робот не дойдёт до страницы и не прочитает то, что вы для него написали. Так сайты и застревают в индексе на месяцы: владелец уверен, что закрыл всё дважды, а на деле отменил второе первым.

Что из этого выбрать в вашем случае — разбор способов со всеми оговорками есть в отдельной статье про то, как закрыть страницу от индексации.

Что делает робот при robots.txt, 404, 410 и noindex

Справка Вебмастера делит способы по ситуации: страница удалена с сайта — одно, страница существует, но не должна быть в поиске — другое.

Способ	Что говорит справка Вебмастера	Когда применять
Директива Disallow в robots.txt	Страница будет удалена из поисковой базы в течение недели после того, как робот обнаружит указания. Может иногда появляться в выдаче, если на неё ведут ссылки с других сайтов	Когда страниц много и они объединены общим куском адреса: каталог, параметры, служебный раздел
Ответ сервера 404 Not Found, 403 Forbidden или 410 Gone	Страница будет удалена из поисковой базы в течение недели после того, как робот обнаружит указания. Все три кода перечислены вместе, разных сроков для них справка не называет	Когда страница действительно удалена с сайта и возвращать её не планируете
Метатег robots с директивой noindex или заголовок X-Robots-Tag	Тот же срок — неделя после обнаружения. Страница не участвует в результатах поиска, её адрес появится в списке исключённых	Когда страница нужна людям, но не нужна в выдаче: личный кабинет, страница благодарности, фильтры
Инструмент удаления в Вебмастере	Не заменяет запрет, а ускоряет его исполнение. Работает только поверх уже выставленного запрета или нужного кода ответа	Когда ждать плановый обход робота нельзя
Редирект 301 на другой адрес	Робот постепенно отследит перенаправление, и по мере обхода старые страницы будут пропадать из результатов поиска	Когда у страницы есть замена и вы не хотите терять её вес и посетителей

Главный вывод из таблицы ломает популярный миф: 410 Gone в справке Яндекса стоит в одном ряду с 404 и 403, и никакого обещания «по 410 удалят быстрее» там нет. Если вам советуют срочно переделать 404 на 410 ради скорости — это совет не из документации.

Второй вывод: noindex и robots.txt нужно выбирать, а не складывать. Для удалённых страниц — код ответа или Disallow. Для существующих, но ненужных в выдаче — noindex без всякого Disallow.

Инструмент удаления в Вебмастере: что умеет и чего не умеет

В Вебмастере есть отдельный инструмент — «Удаление страниц из поиска». Работает он в двух режимах.

По URL: вы вводите конкретный адрес и нажимаете «Удалить». Для сайта с подтверждёнными правами можно указать до 500 адресов одного сайта в сутки.

По префиксу: вы указываете начало адреса, и под него попадает всё, что с него начинается. Справка приводит три примера префикса — каталог сайта, весь сайт целиком и адреса с параметрами. Здесь лимит жёстче: до 20 префиксов на сайт в сутки. И к этому режиму в справке есть примечание, которое пропускают: робот удалит страницы, указанные в Вебмастере, только если для этих страниц прописана директива Disallow в файле robots.txt.

Отсюда правильный порядок. Сначала запрет на стороне сайта — Disallow, нужный код ответа или noindex. И только потом инструмент, чтобы не ждать планового обхода. Наоборот не работает.

Дальше у заявки меняется статус. «В очереди на удаление» — робот проверяет ответ сервера и наличие запрета, проверка занимает несколько минут. «В процессе» — проверка пройдена, в течение суток страница будет удалена из результатов поиска. «Удалена» — готово. «Отклонено» — запрета нет или сервер отвечает не 404, не 403 и не 410.

Статус «Отклонено» — самый частый и самый полезный. Он означает одно: вы нажали кнопку раньше, чем сделали работу на сайте.

Чего инструмент не умеет — работать вечно. На какой срок «держится» удаление, справка Яндекса не сообщает; она говорит только про обратное действие: если убрать запрет, страницы вернутся в поиск, когда робот обойдёт сайт, и это может занять до трёх недель. Встречающиеся в интернете цифры вроде «эффект живёт 90 дней» я повторять не буду — в документации Яндекса их нет.

Чужие страницы и ваши данные на чужом сайте

Здесь два разных вопроса, и их постоянно смешивают.

Первый: можно ли вообще отправить на удаление адрес сайта, который вам не принадлежит. Технически да — справка описывает вариант для случая, когда сайт не добавлен или не подтверждён в Вебмастере: открываете страницу инструмента, вводите адрес, нажимаете «Удалить», и так по одному адресу за раз.

Второй: сработает ли это. Почти наверняка нет, и это правильно. Робот проверит адрес, и если страница открывается нормально и запрета на ней нет, заявка получит статус «Отклонено». Убрать чужую работающую страницу, просто отправив её адрес в форму, невозможно. Инструмент рассчитан на другое: вы нашли в выдаче адрес, которого уже не существует, и просите поскорее убрать его из базы.

Что делать, если на чужом сайте опубликованы ваши персональные данные. Первый адрес — владелец сайта: пока страница жива, из поиска её не убрать. Параллельно у Яндекса есть отдельная форма по «праву на забвение»: заявление подаётся в порядке Федерального закона № 149-ФЗ, и по нему из результатов поиска исключаются ссылки на информацию о гражданине по запросам, содержащим его имя и (или) фамилию. Обратите внимание на формулировку: исключаются ссылки по таким запросам, а не сама страница из интернета.

Отдельная оговорка есть в справке и про авторские права: удаление из результатов поиска страниц, удалённых с сайта из-за нарушения авторских прав, не является приоритетным для робота. То есть на ускорение по этому основанию рассчитывать не стоит, нужно пользоваться обычными способами.

Проверьте заранее: не удаляете ли вы трафик

Самая дорогая ошибка здесь выглядит невинно: владелец закрыл направление, велел «убрать всё это из поиска» — и вместе со старой услугой ушли страницы, которые приносили половину заявок по смежным запросам. Проверка занимает минут десять и делается до, а не после.

Откройте в Метрике отчёт по страницам входа за последние 6–12 месяцев и отфильтруйте по куску адреса, который собираетесь удалять. Если на этих адресах есть визиты из поиска — стоп, дальше читайте следующий раздел, удалять нельзя.

Откройте в Вебмастере «Поисковые запросы» и посмотрите, по каким фразам эти адреса показываются и есть ли клики. Бывает, что страница даёт мало визитов, но занимает место по названию бренда или по нужному городу.

Посмотрите в Вебмастере «Страницы в поиске» и убедитесь, что вы понимаете текущий статус адреса. Что означают статусы исключённых страниц и как вернуть то, что выпало само, я разбирал в материале про то, почему страницы исключены из поиска.

Проверьте входящие ссылки. Если на страницу ссылаются с других сайтов, удаление означает, что эти ссылки теперь ведут в никуда, а вес, который они передавали, пропадает.

Что применить в вашей ситуации

Ситуация	Что применить	Чего ждать
Служебная страница или тестовый поддомен попали в индекс	Disallow в robots.txt для раздела, затем удаление по префиксу в Вебмастере	По справке — неделя после обнаружения запрета; через инструмент быстрее
Страница удалена с сайта насовсем, замены нет	Ответ сервера 404 или 410, затем удаление по URL	Тот же срок. Дополнительно: адрес уйдёт в список исключённых
Страница нужна людям, но не нужна в выдаче	Метатег robots с noindex, без Disallow в robots.txt	Страница остаётся доступной, из выдачи уходит
Адрес сменился, содержание осталось	Редирект 301 на новый адрес, удалять ничего не нужно	Старые адреса пропадают из выдачи по мере обхода; при смене домена справка говорит про срок более месяца
Направление закрыли, а спрос остался	Переписать страницу под то, что вы делаете сейчас, и перелинковать	Позиции и посетители сохраняются, заявки перетекают на живую услугу
Персональные данные на вашем сайте	Убрать данные со страницы, затем 404 или noindex, затем удаление в Вебмастере	Сначала снимается причина, потом ускоряется удаление
Ваши данные на чужом сайте	Обращение к владельцу сайта, параллельно — заявление по «праву на забвение» в Яндекс	Исключаются ссылки по запросам с именем и фамилией, сама страница остаётся
Сайт взломан, в индексе спам-страницы	Сначала вычистить сайт и закрыть дыру, потом 404 на спам-адреса и удаление по префиксу	Пока сайт заражён, удаление бессмысленно: страницы будут появляться снова

Пятая строка — та, ради которой писался раздел. Удаление кажется простым решением, а переписывание — работой. Но страница, которая уже стоит в выдаче и получает посетителей, — актив, который вы зарабатывали месяцами. Выкинуть его и начать с нуля на новом адресе почти всегда дороже, чем заменить содержание на актуальное.

Когда удалять не нужно и когда нужен человек

Не удаляйте, если у страницы есть замена. Тогда нужен редирект, а не удаление: он переносит и посетителей со старых ссылок, и накопленный вес. Как его правильно настроить в разных случаях, есть отдельная инструкция про то, как сделать 301 редирект.

Не удаляйте, если страница получает визиты из поиска. Сначала разберитесь, по каким запросам, и решите, куда эти люди должны попадать.

Не удаляйте весь сайт, если делаете новый на том же домене. Старые адреса нужно свести редиректами на новые разделы — иначе новый сайт стартует с нуля, хотя мог бы унаследовать всё.

Не удаляйте в спешке дубли. Они лечатся склейкой и каноническими адресами: удалив «лишнюю» страницу, легко выкинуть как раз ту, которую поиск считал основной.

Когда нужен человек со стороны. Первое — когда речь о массовом удалении: сотни адресов, префиксы, целые разделы. Цена ошибки в префиксе высокая, потому что под него попадает всё, что начинается с указанного куска адреса, включая то, чего вы не имели в виду. Второе — когда страницу надо убрать срочно и при этом удержать трафик: здесь работа идёт не кнопкой, а связкой из редиректов, переписывания и перелинковки. Третье — когда вы уже удалили и хотите вернуть: возврат занимает время, и его лучше не тратить на эксперименты.

Если не уверены, что именно у вас в индексе и что из этого приносит деньги, начните с бесплатного аудита сайта — по нему видно, какие адреса участвуют в поиске и какие из них стоит трогать.

Частые вопросы

Можно ли удалить сайт из поиска целиком?

Да. Справка прямо называет такой префикс: указываете адрес сайта целиком, и под него попадают все страницы. Но сначала нужен запрет на стороне сайта, иначе заявку отклонят. И подумайте дважды: возврат после снятия запретов справка оценивает сроком до трёх недель.

Удалил страницу из поиска, а она вернулась. Почему?

Потому что запрет либо не был выставлен, либо перестал действовать. Инструмент в Вебмастере ускоряет исполнение вашего запрета, но не заменяет его. Проверьте, что страница по-прежнему отдаёт 404 или 410, что Disallow на месте, что noindex не потерялся при обновлении шаблона. Отдельно проверьте, не закрыли ли вы страницу с noindex ещё и в robots.txt — в этом случае директива не действует.

Сколько страниц можно отправить на удаление за раз?

Для подтверждённого сайта — до 500 адресов одного сайта в сутки в режиме «По URL» и до 20 префиксов на сайт в сутки в режиме «По префиксу». Для неподтверждённого сайта справка описывает удаление по одному адресу, лимита для этого случая не приводит.

Что быстрее убирает страницу — 404 или 410?

Справка Вебмастера перечисляет 404, 403 и 410 вместе и называет для них один и тот же срок: удаление из поисковой базы в течение недели после того, как робот обнаружит указания. Разницы в скорости она не заявляет. Выбирайте по смыслу: 410 честнее говорит «страницы больше не будет», 404 подходит всегда.

Нужно ли удалять страницу, если я поставил редирект?

Нет. По справке робот постепенно отследит перенаправление, и старые адреса будут пропадать из выдачи по мере обхода сайта. Ускорить это можно отправкой страниц на переобход. Отдельно справка предупреждает: если адреса меняются вместе с доменным именем, на обновление данных в поиске может потребоваться более месяца.

Коротко

Убрать из выдачи и закрыть от индексации — разные действия. Запрет в robots.txt, коды 404, 403 и 410 и метатег noindex по справке Вебмастера дают один и тот же срок: удаление из поисковой базы в течение недели после того, как робот обнаружит указания.

Инструмент удаления в Вебмастере не заменяет запрет, а ускоряет его исполнение. Сначала запрет на сайте, потом кнопка. Иначе заявка получит статус «Отклонено». Лимиты: до 500 адресов в сутки по URL и до 20 префиксов в сутки.

Чужую живую страницу удалить нельзя: форма для неподтверждённого сайта существует, но робот проверит адрес и откажет. Если на чужом сайте ваши персональные данные — сначала владелец сайта, параллельно заявление по «праву на забвение», которое исключает ссылки по запросам с именем и фамилией, но не саму страницу.

Перед удалением проверьте страницы входа в Метрике и поисковые запросы в Вебмастере. Если адрес даёт визиты из поиска, удалять его нельзя — нужен редирект или переписанная страница.

На какой срок держится эффект удаления, справка Яндекса не сообщает. Про обратное действие говорит: после снятия запретов страницы возвращаются в поиск, когда робот обойдёт сайт, и это может занять до трёх недель.

Если вам предстоит убрать не одну страницу, а раздел или старую версию сайта, и при этом важно не потерять заявки, приходите на консультацию: за час разберём ваш список адресов, отделим то, что можно удалять, от того, что нужно переклеивать редиректами, и я покажу порядок действий на вашем сайте. Когда дальше нужно не удалять, а возвращать позиции, этим занимается поисковое продвижение сайта.

Первоисточники: справка Яндекс Вебмастера «Как удалить страницы из поиска», справка о метатегах и директиве noindex и страница Яндекса о заявлении по «праву на забвение».