Внутренний поиск по сайту плодит тысячи пустых страниц незаметно для владельца — и в какой-то момент в панели вебмастера обнаруживается, что в индексе сорок восемь тысяч адресов при каталоге в восемь тысяч товаров. Открываешь отчёт по страницам в поиске, сортируешь по адресу — и вот они: адреса вида «?s=тормозные колодки», «/search/?query=масло 5w40» и так далее до бесконечности. Это результаты внутреннего поиска, которые движок нагенерировал сам, а поисковик прилежно проиндексировал.
За 20 лет практики я вытаскивал этот мусор из индекса десятков проектов, и картина почти всегда одинаковая. Строка поиска стоит на сайте «чтобы людям было удобно», а по факту работает генератором дублей на реактивной тяге: тратит лимит обхода робота и разбавляет индекс тонкими страницами, за которые оценка снижается всему домену.
Откуда эти адреса берутся в индексе
Механика простая. На сайте есть форма поиска — обычно лупа в шапке. Человек вводит запрос, нажимает ввод, движок формирует адрес с параметром и показывает список найденного. Формально это обычная страница с уникальным адресом, и ничем от других она не отличается.
Дальше начинается размножение. Каждый уникальный запрос порождает уникальный адрес. Люди ищут «колодки», «колодки передние», «колодки на ваз», «колодкі» с опечаткой, «бремпо» с ошибкой в бренде — и на каждый чих появляется отдельный документ.
Но сами по себе эти адреса поиску неизвестны: чтобы робот их нашёл, на них должна вести ссылка. Источников таких ссылок больше, чем кажется:
- Форма отправляется методом GET, и часть движков дублирует результат обычной ссылкой — робот проходит по ней как по любой другой.
- Блок «популярные запросы» или подсказки под строкой поиска, где каждая подсказка — прямая ссылка на страницу результатов.
- Ссылки в текстах и в поддержке: кто-то однажды вставил в статью ссылку «смотрите все товары по запросу такому-то».
- Внешние источники: парсеры, агрегаторы и просто чужие сайты автоматически генерируют такие адреса и ставят на них ссылки.
- Карта сайта, куда некоторые плагины по недосмотру включают все существующие адреса подряд.
Дальше работает снежный ком: робот зашёл на одну страницу результатов, увидел на ней ссылки на товары и на другие запросы, пошёл по ним, нашёл новые адреса с параметрами. За три-четыре месяца сайт средней руки набирает тридцать-сорок тысяч мусорных адресов при живом каталоге в пару тысяч позиций.
Чем именно это вредит
Аргумент «ну висят и висят, есть не просят» звучит убедительно ровно до первого разбора. Вред конкретный и измеримый.
Расход лимита обхода. Робот приходит с ограниченным числом обращений. Если из десяти тысяч обращений в сутки восемь тысяч уходят на страницы поиска, новые товары и обновлённые категории попадают в индекс с задержкой в недели. Владелец при этом уверен, что «сайт плохо индексируется», и ищет причину в чём угодно, кроме строки поиска.
Тонкий контент в индексе. Страница результатов — это шаблон плюс список ссылок. Собственного содержимого на ней нет. Когда таких документов в индексе большинство, средняя оценка качества сайта падает, и это отражается на позициях нормальных страниц.
Дубли. Результаты по запросам «колодки» и «колодки тормозные» могут совпадать полностью. Плюс каждый адрес обычно доступен в нескольких вариантах написания параметров. Получаются группы идентичных документов, которые поиск вынужден склеивать, тратя на это ресурсы и иногда выбирая не то, что нужно вам.
Мусор в выдаче. Изредка такие страницы всё-таки ранжируются, и человек попадает не в категорию, а в результаты чужого поиска, где может не быть ничего. Обратно он уже не вернётся.
Уязвимость к внешнему воздействию. Открытый для индексации поиск — известный способ подкинуть на чужой сайт нежелательный контент: достаточно наставить ссылок на адреса с любым текстом в параметре, и он окажется в заголовке страницы результатов.
Подробнее об этом — в статье «Last-Modified, которого нет: робот заново качает две тысячи неизменных страниц».
Как проверить, есть ли проблема у вас
Три проверки, каждая на несколько минут.
Сравните числа. Посмотрите в панели вебмастера, сколько страниц в индексе, и сопоставьте с реальным числом товаров, категорий и статей. Расхождение в два раза и больше — повод разбираться.
Помогу с продвижением: SEO-специалист Анатолий Кузнецов — вывожу сайты в топ Яндекса белыми методами.
Найдите свой параметр. Определите, как выглядит адрес результатов поиска на вашем сайте: введите что-нибудь в строку поиска и посмотрите на адресную строку. Дальше поищите в отчёте по страницам в поиске все адреса с этим фрагментом.
Посмотрите логи. Самая честная проверка. Отфильтруйте обращения робота за неделю и посчитайте долю тех, что пришлись на адреса с параметром поиска. Если она выше десяти процентов, лимит обхода расходуется впустую.
Заодно проверьте соседние источники того же мусора: параметры сортировки, постраничной навигации, меток отслеживания рекламы и фильтров. Обычно они обнаруживаются в той же выгрузке и лечатся одним подходом.
Как закрыть правильно
Способов четыре, и они не взаимозаменяемы. Разница между ними — главная причина, по которой попытки закрыть внутренний поиск часто не дают результата.
| Способ | Что делает | Убирает из индекса? | Когда применять |
|---|---|---|---|
| Запрет обхода в robots.txt | Просит робота не заходить на адреса | Нет, уже проиндексированное может остаться | Профилактика на новом сайте, где ничего не проиндексировано |
| Мета-тег noindex в коде страницы | Запрещает включать страницу в индекс | Да, после переобхода | Основной способ для уже проиндексированных адресов |
| Директива Clean-param | Указывает, что параметр не меняет содержимое | Да, склеивает адреса | Для параметров сортировки и меток отслеживания |
| Убрать ссылки на результаты | Лишает робота источника адресов | Опосредованно | Всегда, как дополнение к любому из способов |
Правильная последовательность выглядит так. Сначала ставим на страницу результатов мета-тег, запрещающий индексирование, и оставляем обход открытым — робот должен зайти на страницу и увидеть запрет. Параллельно убираем ссылки на результаты поиска отовсюду: из блока популярных запросов, из карты сайта, из текстов. Ждём, пока адреса выпадут из индекса, — обычно это от двух недель до двух месяцев в зависимости от их числа. И только после того как индекс очистился, добавляем запрет обхода в robots.txt, чтобы робот больше не тратил на них обращения.
Почему запрет в robots.txt сам по себе не работает
Это ошибка номер один, и совершают её почти все. Логика кажется железной: запретил обход — значит, страниц в индексе не будет. На практике происходит обратное.
Запрет обхода означает буквально «не заходи на эту страницу». Он не означает «удали её из индекса». Если адрес уже проиндексирован, робот теперь не может на него зайти, а значит, не может увидеть ни мета-тег с запретом индексирования, ни того, что страница изменилась. Документ остаётся в индексе в замороженном виде и висит там месяцами.
Тему разбирал отдельно: «Редирект на главную вместо 404 плодит soft 404 по всему сайту».
Более того, адрес, закрытый от обхода, может попасть в индекс впервые — если на него ведут внешние ссылки. Поиск знает, что адрес существует, содержимое посмотреть не может и включает его в индекс с пометкой об отсутствии описания.
Отсюда правило: сначала мета-тег, потом ожидание, и только в конце запрет обхода. Порядок перепутать — значит закрепить проблему вместо того, чтобы её решить.
Что делать с уже проиндексированными адресами
Если в индексе висят десятки тысяч страниц поиска, одного мета-тега мало: робот будет обходить их месяцами. Ускорить процесс можно.
- Убедиться, что обход открыт. Проверьте robots.txt: если запрет уже стоит, временно снимите его, иначе ничего не сдвинется.
- Поставить мета-тег с запретом индексирования на шаблон страницы результатов. Проверьте на конкретном адресе через инструмент проверки страницы, что тег реально отдаётся.
- Отправить самые весомые адреса на переобход через панель вебмастера. Все не отправишь, но верхние сотни ускорят процесс.
- Снять все ссылки на результаты поиска. Пока ссылки есть, робот продолжает находить новые адреса быстрее, чем выпадают старые.
- Проверить карту сайта. Она не должна содержать ни одного адреса с параметром поиска.
- Наблюдать месяц. Число страниц в индексе должно устойчиво снижаться. Когда падение остановится, ставьте запрет обхода в robots.txt.
И отдельно: если сайт большой и мусора очень много, имеет смысл проверить, не отдаются ли страницы результатов с кодом 200 при пустом результате. Настройка отдачи 404 для запросов, по которым ничего не найдено, снимает часть проблемы сама собой.
Соседние источники того же мусора
Страницы поиска почти никогда не приходят одни. Если движок генерирует их, он с той же лёгкостью генерирует ещё несколько семейств адресов, и разбирать их разумно за один заход, пока вы уже погружены в тему.
Параметры сортировки и вида списка. «По цене», «по популярности», «плиткой», «списком» — содержимое одно и то же, адреса разные. Классический дубль категории, который размножает её в четыре-шесть копий. Лечится указанием параметров как не влияющих на содержимое либо каноническим адресом на базовую версию категории.
Если нужна помощь по теме — заказать сайт.
Метки отслеживания рекламных кампаний. Каждая ссылка из рассылки или из объявления создаёт адрес с хвостом параметров. Сами по себе они безобидны, но если кто-то поставил на такую ссылку внешнюю ссылку, адрес попадает в индекс как дубль.
Постраничная навигация. Вторая, третья и сороковая страницы категории — тонкие документы с одним и тем же текстом описания вверху. Полностью закрывать их не нужно, робот должен по ним ходить, чтобы находить товары. Но текст описания категории на них дублировать не стоит, а заголовок полезно дополнять номером страницы.
Идентификаторы сессий и партнёрские метки. Реже, но встречается на старых движках: у каждого посетителя свой вариант адреса. Это самый тяжёлый случай, потому что число копий равно числу визитов.
Смежный материал по теме — «Закрыл 1400 мусорных страниц от индексации — позиции взлетели за месяц».
Практический подход одинаковый для всех четырёх: сначала выясните, какие параметры вообще встречаются в адресах вашего сайта, — это видно в отчёте по страницам в поиске и в логах. Затем по каждому ответьте на один вопрос: меняет ли этот параметр содержимое страницы для человека. Если не меняет — адреса нужно склеить. Если меняет, но набор значений бесконечен — закрыть от индексации. Если меняет и набор конечен — оставить и оформить как полноценные страницы.
Когда внутренний поиск, наоборот, нужен
Закрывать от индексации — не значит выключать. Строка поиска на сайте с большим каталогом полезна и работает на конверсию: человек, воспользовавшийся поиском, покупает заметно чаще случайного посетителя, потому что он уже знает, что ему нужно.
Более того, данные внутреннего поиска — это бесплатный источник информации, который почти никто не использует. Настройте их сбор в счётчике и раз в месяц смотрите отчёт. Что оттуда извлекается:
- Спрос, которого у вас нет. Если сотни людей ищут товар, которого нет в каталоге, — это готовое обоснование для расширения ассортимента.
- Проблемы навигации. Если люди ищут то, что есть в меню, значит, меню непонятное. Особенно показательны поиски слов «доставка», «оплата», «контакты».
- Живые формулировки. Люди пишут в строке поиска так, как говорят, а не так, как называется товар в вашем каталоге. Это подсказка для заголовков и текстов.
- Запросы без результатов. Отдельный отчёт, который стоит смотреть первым: там видно, где поиск по сайту работает плохо и людей теряют на ровном месте.
Правильный вывод из этой статьи не «уберите поиск», а «уберите его страницы из индекса и начните пользоваться его данными».
Частые вопросы
Может ли страница внутреннего поиска приносить трафик? Изредка да, но это плохой сценарий. Если по коммерческому запросу у вас ранжируется страница результатов поиска, значит, у вас нет нормальной посадочной под этот запрос. Правильное решение — создать категорию или подборку с собственным текстом, а не радоваться случайным позициям.
Чем страницы поиска отличаются от страниц фильтров? Тем, что фильтры конечны и предсказуемы, а поиск бесконечен. Полезные сочетания фильтров с реальным спросом можно и нужно открывать для индексации, снабдив заголовком и текстом. Страницы поиска открывать нельзя никогда: набор адресов там не ограничен ничем.
Сколько ждать, пока адреса выпадут из индекса? От двух недель при сотнях адресов до трёх месяцев при десятках тысяч. Процесс зависит от того, как часто робот заходит на сайт, и ускоряется отправкой на переобход и снятием ссылок.
Нужно ли ставить переадресацию со страниц поиска? Нет. Переадресация здесь лишняя и вредная: адресов бесконечно много, а массовая переадресация на категорию трактуется как мягкая ошибка. Достаточно запрета индексирования.
А если поиск реализован без параметров в адресе? Бывает и так: результаты подгружаются скриптом, адрес не меняется. Тогда проблемы с индексацией нет вообще, потому что отдельных адресов не возникает. Проверить легко — введите запрос и посмотрите, изменилась ли адресная строка.
Влияет ли это на скорость сайта? Косвенно да. Каждый запрос к поиску — это обращение к базе данных, часто тяжёлое. Когда робот обходит тысячи таких адресов, нагрузка на сервер растёт, и сайт медленнее отвечает живым людям. На дешёвом хостинге это заметно.
Что делать, если мусор появился снова через полгода? Значит, где-то остался источник ссылок. Проверьте карту сайта, блок популярных запросов, свежие статьи и внешние ссылки на сайт. Если запрет обхода стоит, а адреса всё равно появляются в индексе, — это как раз тот случай, когда robots.txt мешает роботу увидеть запрет индексирования.
Коротко
- Каждый запрос в строке поиска создаёт отдельный адрес; при наличии ссылок на них робот находит и индексирует десятки тысяч пустых документов.
- Вред измеряется в потраченном лимите обхода, тонком содержимом в индексе, дублях и снижении общей оценки сайта.
- Проверка занимает минуты: сравнить число страниц в индексе с реальным, найти адреса с параметром поиска, посмотреть долю обращений робота к ним в логах.
- Порядок закрытия строгий: сначала мета-тег с запретом индексирования при открытом обходе, потом ожидание, и только в конце запрет в robots.txt.
- Запрет обхода сам по себе из индекса ничего не убирает и может, наоборот, законсервировать мусор на месяцы.
- Сам поиск выключать не нужно — его данные показывают отсутствующий спрос, слабые места навигации и живые формулировки покупателей.
Если в индексе уже десятки тысяч лишних адресов и непонятно, с какого конца распутывать, приходите на SEO-консультацию: посмотрим отчёты по вашему сайту и составим порядок очистки индекса без потери нужных страниц.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Остались вопросы по продвижению?
Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе.
Связаться со мной →Комментарии
Сусанна Обносова
Три года у нас в robots.txt стоял запрет на адреса поиска, и три года в индексе висели одиннадцать тысяч таких страниц. Прочитала про порядок действий, сняла запрет, поставила мета-тег. За полтора месяца осталось меньше двух тысяч.
Анатолий Кузнецов автор
Ровно тот сценарий, ради которого статья и написана. Пока индекс дочищается, сделайте ещё две вещи, чтобы не пришлось возвращаться. Первое: проверьте, откуда робот вообще берёт эти адреса сейчас — снимите ссылки из блока популярных запросов, если он есть, и убедитесь, что карта сайта их не содержит. Второе: посмотрите внешние ссылки на сайт, иногда чужие агрегаторы годами ссылаются на страницы результатов, и этот источник вы сами не закроете, зато мета-тег с ним справится. Когда число в индексе перестанет снижаться и стабилизируется на пару недель, возвращайте запрет в robots.txt — тогда он начнёт работать как задумано и перестанет тратить обращения робота. И зафиксируйте где-нибудь дату этих правок: если через полгода мусор полезет снова, вы будете знать, с чем сравнивать.
Агафон Гвоздарёв
Посмотрел логи за неделю. Из обращений робота 61% пришёлся на адреса с параметром поиска. При этом жаловались, что новые товары заходят в индекс по три недели. Причина оказалась ровно тут.
Сусанна Тюрина
Не поняла разницу между поиском и фильтрами. У нас фильтр формирует адрес с параметром так же, как поиск. Почему одно можно открывать, а другое нельзя?
Анатолий Кузнецов автор
Разница не в технике формирования адреса, а в количестве возможных вариантов и в предсказуемости содержимого. Набор фильтров конечен: у вас есть список брендов, размеров, цветов, и все сочетания можно перечислить заранее. Значит, вы можете выбрать те из них, под которые есть реальный спрос, дать им нормальный заголовок, описание и открыть для индексации — получится полноценная посадочная страница. Набор поисковых запросов бесконечен: люди вводят опечатки, чужие бренды, случайные слова, и предсказать содержимое страницы вы не можете. Плюс заголовок такой страницы обычно формируется из введённого текста, а это прямая дыра. Практический критерий такой: если вы можете заранее написать список адресов, которые хотите видеть в поиске, — их можно открывать. Если список не конечен — закрывать. По фильтрам обычно открывают одно- и двухпараметрические сочетания с подтверждённым спросом, остальное закрывают.
Аникита Островерхов
Отчёт по запросам без результатов оказался золотой жилой. Люди искали товар, который у нас есть, но называется в каталоге по-другому. Добавили синонимы в описания — продажи по этим позициям выросли без всякого продвижения.
Нафанаил Хлопонин
У нас страница поиска при нулевом результате отдавала 200 и заголовок с текстом запроса. Кто-то наставил внешних ссылок с посторонними словами, и эти адреса попали в индекс с чужими заголовками. Разгребали месяц.
Василиса Нехлюдова
Вопрос по каталогу. У нас 40 тысяч товаров, страниц поиска в индексе около 90 тысяч. Отправлять на переобход руками нереально. Есть способ ускорить или только ждать?
Анатолий Кузнецов автор
Полностью ускорить не получится, но сократить срок с полугода до двух-трёх месяцев вполне реально. Работает следующее. Первое: убедитесь, что обход открыт и мета-тег отдаётся на всех вариантах адресов, включая написание с разным порядком параметров, — проверьте это инструментом проверки страницы на десятке случайных адресов из выгрузки. Второе: полностью перекройте источник новых адресов, иначе вы будете вычерпывать лодку с дыркой. Третье: отправляйте на переобход не случайные адреса, а те, что получают обращения робота чаще всего, — их видно в логах, обычно это несколько сотен адресов, и они тянут за собой остальные. Четвёртое, самое действенное на таком масштабе: настройте отдачу кода 404 для страниц поиска с нулевым результатом, в вашем случае это заметная доля от девяноста тысяч. И пятое: пока идёт очистка, не жалейте лимит обхода на нужные страницы — держите карту сайта актуальной, чтобы робот тратил оставшиеся обращения на товары, а не блуждал по мусору.
Аверьян Толубеев
Нашли ссылки на страницы результатов в собственной карте сайта. Плагин честно выгружал все адреса, которые движок когда-либо отдал с кодом 200. Убрали — приток новых мусорных адресов прекратился за неделю.
Досифей Ушкалов
Спорный момент. У нас страница результатов по одному популярному запросу висела в топ-10 и приносила заявки. Закрыли по статье — трафик по этому запросу потеряли. Стоило ли?
Анатолий Кузнецов автор
Закрыть стоило, но не так, как вы сделали. Ситуация, когда страница результатов ранжируется по коммерческому запросу, означает одну вещь: спрос есть, а нормальной посадочной под него у вас нет, и поиск за неимением лучшего показывает что придётся. Правильный порядок был такой: сначала создать под этот запрос настоящую страницу — категорию или подборку с заголовком, описанием, фильтрами и перелинковкой, дождаться её индексации, поставить на неё внутренние ссылки, и только потом закрывать поиск. Тогда бы позиция перешла к нормальной странице, а не потерялась. Сейчас это ещё не поздно сделать: заведите такую страницу, отправьте на переобход и подождите три-четыре недели. Скорее всего, вернётесь на прежние позиции и получите больше, потому что полноценная страница ранжируется лучше списка результатов и конвертирует посетителей заметно лучше.
Инесса Зарубина
Подключила сбор данных внутреннего поиска в счётчике. Первый же отчёт показал, что двести с лишним человек за месяц искали слово «доставка». Оно было в меню, но третьим пунктом в выпадающем списке. Вынесли отдельно.
Евдоксия Хабарова
У нас поиск подгружается скриптом, адрес не меняется. Проверила по совету из статьи — проблемы нет вообще. Хорошо, что есть простой способ убедиться, а не закрывать наугад.
Руфина Фурсова
Заодно с поиском разобрали параметры сортировки и меток рекламы. Их было почти столько же. Полезно, что подход к ним один и тот же — сделали за один заход.
Эвелина Перевозчикова
Заметное падение нагрузки на сервер после чистки. Хостинг присылал предупреждения о превышении лимитов по обращениям к базе. После закрытия поиска от обхода предупреждения прекратились.
Анатолий Кузнецов автор
Это частый и приятный побочный эффект, о котором редко думают заранее. Запрос к внутреннему поиску почти всегда тяжелее обычного показа страницы: он идёт мимо кэша и заставляет базу перебирать таблицу товаров. Когда робот обходит тысячи таких адресов в сутки, сервер работает как под небольшой постоянной нагрузкой, и от неё страдают живые посетители — сайт отвечает медленнее, а скорость ответа сервера напрямую влияет и на позиции, и на конверсию. Раз уж вы этим занялись, посмотрите заодно две вещи. Первая: кэшируются ли у вас обычные страницы каталога, часто выясняется, что нет. Вторая: сколько времени сервер отдаёт первый байт на страницах категорий — если больше полусекунды, там есть что чинить помимо поиска. И проверьте, не ограничивает ли хостинг число одновременных обращений: при снятой нагрузке лимиты иногда можно понизить и сэкономить на тарифе.
Забрала: найти мусор в Вебмастере и краулером, закрыть noindex плюс Clean-param, оставить сам поиск для людей, убрать внутренние ссылки на результаты, полезные фильтры наоборот открыть, ждать пару месяцев. Чистый индекс — здоровый сайт. Спасибо!
Закрыть noindex, убрать внутренние ссылки на них, добавить Clean-param — и робот постепенно их переобойдёт и выкинет. Для ускорения в Вебмастере есть инструмент удаления URL, но массово это долго. Основной путь — noindex плюс терпение, за пару месяцев вычистится.
А если этих мусорных страниц уже тысячи в индексе, как быстрее их оттуда убрать? Просто закрыть noindex и ждать, пока выпадут, или есть способ ускорить удаление из индекса?
Виктория, закройте noindex, уберите внутренние ссылки на эти страницы, добавьте Clean-param — и робот постепенно их переобойдёт и выкинет. Для ускорения в Вебмастере есть инструмент удаления URL, но массово это долго. Основной путь — noindex плюс терпение: за пару месяцев вычистится. Мгновенно тысячи страниц из индекса не убрать, но процесс запустится.
Добавлю: проверьте, не ведут ли на страницы внутреннего поиска внутренние ссылки. Иногда движок сам линкует на результаты поиска, и робот по ним идёт. Уберите такие ссылки, иначе даже под noindex робот будет тратить на них обход. Закрывать надо комплексно.
Спасибо, пошла проверять индекс. Подозреваю, что у нас там куча мусора от поиска и фильтров, а важные страницы из-за этого обходятся редко. Закрою через noindex и Clean-param, наведу порядок. Не думала, что это так влияет на весь сайт.
После чистки мусорных страниц не ждите мгновенного эффекта: роботу надо переобойти сайт и переоценить. Обычно улучшение видно через пару месяцев. Но эффект стоит того: домен перестаёт выглядеть замусоренным, бюджет идёт на нужное. Терпение.
Автогенерируемые страницы движка вообще частый источник мусора: архивы по датам, теги, страницы авторов, результаты поиска. Многие о них не подозревают, а они раздувают индекс. Ревизия того, что реально в индексе, часто открывает неприятные сюрпризы.
Есть нюанс: иногда страницы фильтров с реальным спросом наоборот стоит открыть и оптимизировать под запросы. Красные диваны — это спрос. Но пустой внутренний поиск и мусорные комбинации — закрывать. Не всё под одну гребёнку, разбирайте по спросу.
Именно так: поиск для людей оставляем, он повышает юзабилити и удержание, а страницы его результатов закрываем от индексации. Функционал полезен, а вот его следы в индексе — мусор. Разделяйте пользу для человека и вред для индексации.
А совсем удалять функционал внутреннего поиска не надо, он полезен людям? Только закрыть от индексации результаты, а сам поиск оставить рабочим для посетителей?
Артём, сам функционал внутреннего поиска удалять не надо, он полезен людям и улучшает юзабилити. Закрываем от индексации только страницы его результатов — через noindex и Clean-param. Поиск для человека оставляем рабочим, а его следы в индексе убираем. Разделяйте пользу для посетителя и вред от мусорных URL в индексе — это разные вещи.
У нас из-за страниц внутреннего поиска в индексе висело в три раза больше страниц, чем реально на сайте. Робот ходил по мусору, а важные страницы обходил реже. Почистили — краулинговый бюджет пошёл на нужное, индексация выправилась.
Не только поиск, но и сортировки, фильтры, пагинация с параметрами плодят дубли и мусор. Один товар доступен по десяти URL с разными параметрами. Настройка канониклов и Clean-param по всем этим параметрам чистит индекс капитально.
Закрывать лучше через meta noindex, а не только robots. Robots запрещает обход, но если на страницу поиска есть ссылки, она может попасть в индекс. noindex надёжнее исключает. А для Яндекса ещё Clean-param по параметру поиска отлично помогает.
В Вебмастере посмотрите страницы в поиске и загруженные — если там куча URL с параметрами поиска, фильтров, сортировок, вот они. Плюс прогон краулером покажет все такие мусорные страницы. Обычно их находится в разы больше, чем ждёшь.
А как понять, что у меня эта проблема есть? В Вебмастере смотреть, что за страницы с параметром search в индексе, или как их вычислить?
Елена, в Вебмастере посмотрите страницы в поиске и загруженные — если там куча URL с параметром search, а также фильтров и сортировок, вот они. Плюс прогон краулером покажет все такие мусорные страницы. Обычно их находится в разы больше, чем ждёшь. Сравните число страниц в индексе с реальным числом на сайте — разрыв и есть мусор.
Классическая техническая дыра. Страницы внутреннего поиска по сайту с параметром вроде search=что-то индексируются и плодят тысячи пустых или дублирующих страниц. Робот тратит на них краулинговый бюджет, а домен выглядит замусоренным. Закрыли их от индексации — качество сайта в глазах Яндекса выросло.