Логотип seo-prodvizhenie-biznesa.ru
+7 (921) 333-77-45

Тестовая копия сайта попала в индекс: как dev-поддомен уводит у вас позиции и заявки

Тестовая копия сайта попала в индекс: как dev-поддомен уводит у вас позиции и заявки
Анатолий Кузнецов

Анатолий Кузнецов
SEO-оптимизатор с 20-летним стажем. Автор блога seo-prodvizhenie-biznesa.ru о продвижении и доработке сайтов.

Вы ищете свою компанию в Яндексе, открываете результат, и вроде бы это ваш сайт: тот же дизайн, те же тексты. Только в адресной строке перед доменом стоит dev или test, телефон указан старый, а форма заявки ничего никуда не отправляет. Это тестовая копия сайта, которую разработчик сделал для правок и не закрыл. Поисковик нашёл её, увидел два одинаковых сайта и сам решил, какой из них показывать людям.

Ниже — откуда берутся такие копии, как робот на них выходит и чем они мешают основному сайту. Покажу, как найти копию за десять минут и как закрыть её так, чтобы не задеть рабочий сайт. В SEO я с 2005 года, и забытая тестовая площадка — одна из тех проблем, которые владелец почти никогда не видит сам: он заходит на свой сайт по закладке, а не через поиск.

Коротко

  • Тестовые копии живут на поддоменах dev, test и stage, на техническом адресе хостинга, по IP-адресу сервера или в папке вроде /new/.
  • Робот находит копию по ссылкам, карте сайта, счётчику Метрики и уведомлениям, которые отправляют плагины. Разработчику не нужно ничего публиковать специально.
  • Когда в индексе два одинаковых сайта, поисковик выбирает один из них сам, и выбор не всегда падает на рабочий.
  • Лучший способ закрыть копию — пароль на уровне сервера. Метатег noindex и заголовок X-Robots-Tag тоже работают, а один robots.txt удаления из поиска не гарантирует.
  • Если копия больше не нужна, её удаляют или ставят 301-редирект на основной сайт, а потом ускоряют чистку инструментом удаления в Вебмастере.
  • Частая обратная авария: запрет индексации с копии вместе с обновлением переезжает на рабочий сайт.

Если не уверены, что делать с найденной копией, и не хотите случайно закрыть от поиска рабочий сайт, разберите ситуацию на SEO-консультации: смотрю, где живёт копия, что из неё уже в индексе и в каком порядке её закрывать.

Откуда берутся тестовые копии

Править живой сайт опасно: ошибка в коде сразу видна покупателям. Поэтому разработчик делает копию, доводит изменения на ней и только потом переносит их на рабочий адрес. Сама практика правильная. Проблема в том, что про копию забывают, когда работа сдана.

Где обычно живёт копия:

  • Поддомен. dev.вашсайт.ру, test.вашсайт.ру, stage.вашсайт.ру, new.вашсайт.ру. Для поисковика поддомен — отдельный сайт со своим индексом.
  • Технический адрес хостинга. Многие хостинги выдают каждому аккаунту служебный домен вида имя-аккаунта.хостинг.ру. Сайт открывается по нему с первого дня, ещё до привязки вашего домена.
  • IP-адрес сервера. Если сервер отвечает на запрос по голому IP и отдаёт ваш сайт, это тоже отдельный адрес с полной копией.
  • Папка на основном домене. вашсайт.ру/new/, /test/, /old/, /v2/. Часто так делают при редизайне: новую версию собирают рядом со старой.
  • Домен разработчика. Студия или фрилансер держит копию на своём домене, чтобы показывать заказчику. Через год её никто не помнит.
  • Старый хостинг после переезда. Сайт перенесли, а аккаунт на прежнем хостинге оплачен до конца года, и копия продолжает отвечать по техническому адресу.

Как робот находит копию, которую никто не публиковал

Владельцы часто думают: про адрес копии знают двое, значит, поисковик о ней не узнает. На практике путей у робота много, и большинство из них открывает сам процесс разработки.

  • Ссылки. Разработчик вставил в текст абсолютную ссылку на копию, и после переноса она осталась на рабочем сайте. Или ссылка лежит в портфолио, в открытой задаче, в публичном чате, на форуме, где спрашивали совет.
  • Карта сайта. CMS на копии генерирует sitemap.xml со своими адресами. Если файл когда-то отправили в Вебмастер или он указан в robots.txt копии, робот получил список всех её страниц.
  • Счётчик Метрики. Копию делают целиком, вместе с кодом счётчика. В Вебмастере есть раздел «Обход по счётчикам»: робот использует данные Метрики, чтобы быстрее находить страницы. Код счётчика на копии — лишний повод для робота заглянуть туда.
  • Плагины уведомлений. Модули IndexNow и пингов шлют поисковикам адреса новых и изменённых страниц автоматически. На копии они продолжают работать и сообщают о каждой правке.
  • Открытые журналы сертификатов. Когда на поддомен выпускают SSL-сертификат, его имя попадает в публичные журналы, которые может прочитать кто угодно.

Какие ещё сигналы поисковики используют для обнаружения адресов, они подробно не раскрывают. Поэтому рассчитывать на то, что о копии никто не узнает, нельзя. Закрывать её нужно с первого дня.

Чем копия в индексе вредит основному сайту

Одна страница копии в поиске — ещё не беда. Проблемы начинаются, когда копия попадает в индекс целиком.

  • Дубли. Две одинаковые страницы на разных адресах спорят за один запрос. Поисковик оставляет в выдаче одну и не всегда ту, которую вы считаете главной. Подробнее про механику — в статье о том, что такое зеркало сайта.
  • Склейка не в вашу пользу. В справке Яндекса сказано прямо: алгоритмы со временем находят адреса с одинаковым содержимым и объединяют их, а если главный адрес не указан, робот выбирает его сам. Копия с похожими текстами может оказаться в выдаче вместо рабочего сайта.
  • Потерянные заявки. На копии часто отключена отправка почты, стоит тестовый ключ платёжной системы, висят старые цены и телефоны. Человек оставляет заявку, видит «Спасибо» и ждёт звонка, которого не будет.
  • Чужие визиты в Метрике. Если код счётчика перенесли на копию, её посещения попадают в вашу статистику. Отчёты о конверсии и источниках начинают врать, и решения по рекламе принимаются по искажённым цифрам.

Где живёт копия и чем её закрыть

Где живёт копия Как её находит робот Чем закрыть
Поддомен dev, test, stage Ссылки, карта сайта, счётчик Метрики, журналы сертификатов Пароль на уровне сервера, на время переноса — noindex
Технический адрес хостинга Ссылки из открытых чатов и задач, счётчик, плагины Отключить адрес в панели хостинга или поставить 301 на основной домен
IP-адрес сервера Ссылки, ошибки настройки сервера Сервер должен отвечать по IP пустой заглушкой или редиректом на домен
Папка /new/, /test/ на основном домене Внутренние ссылки, общая карта сайта Пароль на папку, после запуска — удалить или 301
Старый хостинг после переезда Адреса, которые робот уже знал Удалить файлы и базу со старого аккаунта

Как найти копию своего сайта за 10 минут

Понадобятся поиск, Вебмастер и Метрика, доступ к серверу не нужен.

  1. Поиск по уникальной фразе. Возьмите с главной или со страницы услуги предложение, которое есть только у вас, и вбейте его в Яндекс в кавычках. В выдаче должен быть один ваш домен. Любой другой адрес с тем же текстом — копия или кража текста, и то и другое стоит знать.
  2. Оператор site. Запрос site:вашсайт.ру покажет страницы домена и поддоменов. Ищите в адресах слова dev, test, stage, new, old, beta. Отдельно проверьте site:dev.вашсайт.ру и site:test.вашсайт.ру.
  3. Вебмастер. Откройте Индексирование → Страницы в поиске и посмотрите, нет ли среди адресов папок /new/ или /test/. Поддомены в Вебмастере считаются отдельными сайтами, поэтому, если у вас есть доступ к DNS, добавьте найденный поддомен как свой сайт и подтвердите права: это понадобится для удаления.
  4. Метрика. Откройте отчёт Содержание → Популярное и включите группировку по адресам страниц. Если среди адресов встречается чужой домен или технический адрес хостинга, код счётчика стоит на копии и она получает посетителей.
  5. Панель хостинга и DNS. Посмотрите список сайтов и поддоменов в панели хостинга и записи в DNS. Каждый поддомен, о котором вы не знали, — повод спросить разработчика, что на нём лежит.

Если нашли копию, не удаляйте её сразу. Сначала спросите разработчика, нужна ли она, и сохраните резервную копию: на тестовой площадке иногда лежат правки, которых ещё нет на рабочем сайте.

Как закрыть копию правильно

Задача у закрытия двойная: чтобы копию не видел робот и чтобы на неё не попадали люди. Способы различаются тем, какую часть задачи они решают.

Пароль на уровне сервера. Лучший вариант для копии, которая ещё нужна разработчику. Доступ закрывают базовой авторизацией в настройках веб-сервера или функцией защиты папки паролем в панели хостинга. Робот получает ответ «нужна авторизация» и не видит ни строчки текста. Человек из поиска тоже не попадает на копию. Пароль, поставленный на уровне CMS через плагин, хуже: часть файлов и страниц может остаться открытой.

Метатег noindex и заголовок X-Robots-Tag. Запрещают индексировать страницу и убирают уже попавшие адреса. Метатег ставят в шаблон копии, заголовок — в настройках сервера сразу на весь поддомен. Заголовок удобнее: он закрывает и файлы, в которые метатег не вставишь, например PDF. Как это устроено, подробно описано в статье про X-Robots-Tag для файлов и страниц. Слабое место одно: людей noindex не останавливает, и копия остаётся открытой по прямой ссылке.

301-редирект на основной сайт. Если копия больше не нужна, каждый её адрес перенаправляют на такой же адрес рабочего сайта. Робот склеивает их в пользу основного, а человек, пришедший по старой ссылке, попадает куда нужно.

Удаление в Вебмастере. В разделе Инструменты → Удаление страниц из поиска можно указать адрес или префикс, чтобы убрать группу страниц, не дожидаясь планового обхода. Инструмент работает только для страниц, которые уже закрыты одним из способов выше.

Способ закрытия Убирает из индекса? Риск
Пароль на уровне сервера Да, робот не видит содержимого Пароль переезжает на рабочий сайт при выкладке, если хранится в общих файлах
noindex в метатеге Да, после того как робот перечитает страницу Люди по-прежнему попадают на копию; метатег уезжает на рабочий сайт вместе с шаблоном
Заголовок X-Robots-Tag Да, включая файлы Настройку сервера копируют на рабочий сайт
301-редирект на основной сайт Да, адреса склеиваются с рабочими Копией больше нельзя пользоваться
Disallow в robots.txt Не гарантирует Робот не видит noindex; файл переезжает на рабочий сайт
rel=»canonical» на основной сайт Подсказка, а не команда При различиях в текстах подсказку могут не учесть

Почему одного robots.txt мало

Самый частый ответ разработчика на вопрос о копии: «Там закрыто в robots.txt». Это закрытие обхода, а не удаления из поиска, и разница существенная.

Disallow в robots.txt говорит роботу «не заходи сюда». В справке Яндекса по файлу robots.txt сказано, что страницы, ограниченные в нём, могут участвовать в поиске. Там же советуют для удаления использовать noindex и не закрывать такие страницы в robots.txt, иначе робот не увидит директиву. Документация Google говорит то же самое: запрещённый адрес может попасть в индекс, если на него ведут ссылки, а noindex на заблокированной странице робот просто не прочитает.

Отсюда типичная ловушка. Копию уже проиндексировали, разработчик добавил Disallow и одновременно noindex. Робот перестал заходить на страницы, метатег не увидел, адреса висят в поиске. Правильный порядок обратный: сначала noindex или пароль, дождаться, пока копия выпадет, и только потом, если нужно, закрывать обход.

И главное: robots.txt никак не защищает копию от людей. Любой, кто знает адрес, откроет её, оставит заявку и не получит ответа.

Обратная авария: запрет с копии переезжает на рабочий сайт

Есть зеркальная ситуация, и по последствиям она тяжелее. Копию честно закрыли от индексации: robots.txt с запретом всего сайта, noindex в шаблоне или галочка в WordPress «Попросить поисковые системы не индексировать сайт» в разделе Настройки → Чтение. Потом изменения переносят на рабочий сайт целиком, вместе с файлами и настройками. Запрет уезжает туда же.

Внешне ничего не меняется: сайт открывается, заявки какое-то время идут. А робот при следующем обходе видит запрет и начинает выбрасывать страницы из поиска. Как одна строка в robots.txt выключает сайт из выдачи, я описывал в статье про строку в robots.txt, из-за которой сайт пропадает из Яндекса.

Как не допустить:

  • Запрет для копии хранить в настройках сервера поддомена, а не в файлах сайта. Тогда при переносе файлов он не уедет.
  • После каждой выкладки открывать вашсайт.ру/robots.txt и исходный код главной: искать noindex и Disallow: / без уточнений.
  • В Вебмастере проверить раздел Диагностика: о запрете индексации важных страниц он сообщает отдельно.
  • Приёмку работ строить по списку. Хороший пример такого списка — в статье о том, как принять сайт у разработчика.

Если копия уже в поиске: порядок действий

  1. Убедитесь, что рабочий сайт сам открыт для индексации: robots.txt, метатеги, заголовки сервера.
  2. Решите с разработчиком, нужна ли копия дальше.
  3. Если нужна — поставьте пароль на уровне сервера. Если не нужна — настройте 301-редирект каждого адреса на такой же адрес рабочего сайта или удалите копию.
  4. Уберите с копии код счётчика Метрики, отключите карту сайта и плагины уведомлений.
  5. В настройках счётчика Метрики включите «Принимать данные только с указанных адресов», чтобы чужие визиты больше не попадали в отчёты.
  6. Добавьте поддомен в Вебмастер, подтвердите права и отправьте адреса или префикс в «Удаление страниц из поиска».
  7. Через неделю повторите поиск по уникальной фразе и запрос site. По справке Яндекса, страница удаляется из базы в течение недели после того, как робот обнаружит указания, но на обход тоже нужно время.

Чек-лист для владельца и разработчика

Владельцу:

  • Знать все адреса, по которым открывается сайт: домен, поддомены, технический адрес хостинга.
  • Раз в квартал делать поиск по уникальной фразе в кавычках и запрос site.
  • Держать доступы к Вебмастеру, Метрике и DNS у себя, а не только у подрядчика.
  • После переезда на другой хостинг удалять сайт со старого аккаунта.
  • При приёмке работ спрашивать: где лежит копия и чем она закрыта.

Разработчику:

  • Закрывать копию паролем на уровне сервера в первый же день.
  • Не переносить на копию рабочий код счётчика и ключи платёжных систем.
  • Отключать отправку заявок клиенту или явно помечать тестовые формы.
  • Хранить запреты индексации в настройках сервера копии, а не в общих файлах.
  • После выкладки проверять robots.txt и метатеги рабочего сайта.
  • Удалять или перенаправлять копию, когда она больше не нужна.

Если хочется проверить сайт целиком, а не только на копии, начните с бесплатного экспресс-аудита сайта: он показывает ошибки индексации и технические проблемы на рабочем адресе.

Что я предлагаю

Я занимаюсь SEO-продвижением сайтов для бизнеса и GEO-продвижением в ответах нейросетей напрямую, без агентств, только белыми методами. Техника сайта — первое, что я смотрю: копии, зеркала, запреты индексации, дубли. Без этого остальная работа идёт впустую.

Результаты можно посмотреть в 130+ кейсах с адресами сайтов и в видео-портфолио. Если хотите сначала понять, что мешает вашему сайту, начните с экспресс-аудита по ссылке выше.

Проверьте прямо сейчас: какой результат даёт поиск по уникальной фразе с вашей главной? Один адрес или несколько?

Источники

  • Наблюдения автора по работе с сайтами, с 2005 года.
  • Яндекс Вебмастер, справка «Использование robots.txt»: ограниченные в robots.txt страницы могут участвовать в поиске, для удаления рекомендуется noindex — yandex.ru/support/webmaster.
  • Яндекс Вебмастер, справка «Как скрыть от обхода страницы, которые не нужны в поиске»: noindex, X-Robots-Tag, коды 403, 404, 410, инструмент «Удаление страниц из поиска» по адресу или префиксу, удаление из базы в течение недели после обнаружения указаний — yandex.ru/support/webmaster.
  • Яндекс Вебмастер, справка о главном и неглавных адресах сайта: объединение адресов с одинаковым содержимым и автоматический выбор главного адреса — yandex.ru/support/webmaster.
  • Яндекс Метрика, справка «Индексирование сайта с помощью счётчика Метрики»: раздел Вебмастера «Обход по счётчикам» — yandex.ru/support/metrica.
  • Яндекс Метрика, справка «Настройка счётчика»: опция «Принимать данные только с указанных адресов» — yandex.ru/support/metrika.
  • Google Search Central, «Введение в файл robots.txt» и «Блокировка индексирования с помощью noindex»: заблокированный адрес может попасть в индекс по ссылкам, noindex на заблокированной странице не читается — developers.google.com, developers.google.com.

Увеличьте позиции и продажи вашего сайта

Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:

Анатолий Кузнецов — SEO-оптимизатор

Остались вопросы по продвижению?

Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе.

Связаться со мной →

Комментарии

Вадим Хромов

Делаю сайты на Битриксе больше десяти лет, и тестовые площадки у меня всегда закрыты в robots.txt. Ни разу не видел, чтобы такая площадка вылезла в поиск. Мне кажется, пароль — это перестраховка, которая только мешает показывать работу заказчику.

Анатолий Кузнецов автор

Если площадка закрыта с первого дня и на неё нет ссылок, robots.txt действительно часто хватает. Проблемы начинаются, когда запрет поставили позже, чем робот успел зайти, или когда на копию сослались извне. Яндекс в своей справке прямо пишет, что страницы, закрытые в robots.txt, могут участвовать в поиске, а для удаления советует noindex. Пароль закрывает копию не только от робота, но и от людей, которые нашли адрес. Заказчику проще отправить логин и пароль, чем потом выяснять, откуда у него заявки, ушедшие в никуда.

Инна Сорокина

Нашла по вашему совету через поиск в кавычках копию своего магазина на адресе, который выдал прежний хостинг. Сайт на новый хостинг перевезли полгода назад, а старый аккаунт ещё оплачен. Там висят цены прошлой весны и корзина. Что делать в первую очередь: удалять или ставить редирект?

Анатолий Кузнецов автор

Сначала сохраните себе архив файлов и базы со старого аккаунта, на случай если там осталось что-то нужное. Потом посмотрите в панели старого хостинга, можно ли настроить редирект с технического адреса. Если можно, перенаправьте каждый адрес копии на такой же адрес рабочего магазина: так старые ссылки приведут покупателя туда, где корзина работает. Если такой настройки нет, удалите сайт со старого аккаунта целиком. Через неделю повторите поиск по той же фразе и проверьте, ушла ли копия.

Арсений Донской

Работаю на WordPress, все правки делаю сначала на локальной копии у себя на ноутбуке. Её тоже надо как-то закрывать? Она же вообще не в интернете.

Анатолий Кузнецов автор

Пока копия открывается только на вашем компьютере, поисковик до неё не доберётся. Риск в другом: при переносе в базу WordPress попадают адреса локальной копии, и в текстах остаются ссылки на них. Ещё один риск — галочка «Попросить поисковые системы не индексировать сайт», которую ставят на копии и забывают снять при переносе. После каждой выкладки откройте исходный код главной и поищите noindex и адрес локальной копии. Это занимает пару минут.

Олеся Евдокимова

Веду маркетинг стоматологии. В Метрике в популярных страницах вижу адреса с каким-то непонятным доменом, похожим на адрес хостинга. Визитов там немного, но они есть. Это и есть копия, о которой вы пишете?

Анатолий Кузнецов автор

Очень похоже на неё. Откройте один из этих адресов в браузере: если там ваш сайт, значит, он доступен по техническому адресу хостинга и на нём срабатывает ваш счётчик. Попросите разработчика закрыть этот адрес или перенаправить его на основной домен. В настройках счётчика включите «Принимать данные только с указанных адресов», чтобы такие визиты перестали смешиваться с рабочими. Заодно проверьте, не попал ли технический адрес в поиск, запросом по уникальной фразе с вашей главной.

Сергей Ершов

У меня сайт на Тильде, и отдельной тестовой копии нет: правлю в редакторе и публикую, когда готово. Проверил поиском по фразе с главной, нашёлся только мой домен. Видимо, такой проблемы у меня просто не может быть, если сам ничего не копировал.

Тамара Соколова

Инна, у меня была такая же история с магазином после переезда. Старый хостинг продолжал отвечать по своему адресу, и в поиске иногда вылезала его версия. Я удалила сайт со старого аккаунта, и через какое-то время копия из поиска пропала. Правда, проверить, сколько заявок за это время ушло в старую корзину, уже нельзя.

Игорь Демидов

Сисадмин, поддерживаю пару десятков серверов. Вадим, пароль на тестовом поддомене ставится за пять минут и не мешает показу, если дать заказчику логин. Ещё вариант — открыть доступ только с нужных IP. А вот что реально бывает: настройку авторизации кладут в файл, который лежит в корне сайта, и при выкладке он уезжает на рабочий адрес. После этого сайт просит пароль у всех посетителей.

Ирина Шилова

Фрилансер на WordPress. Один раз сама попала на обратную аварию: перенесла сайт с тестового поддомена вместе с настройками, а галочка запрета индексации осталась включённой. Заметила, только когда клиент спросил, почему страницы пропадают из поиска. С тех пор после каждого переноса первым делом открываю раздел Настройки → Чтение.

Руслан Трофимов

У меня автосервис. Сайт переделали два года назад, а в поиске до сих пор иногда вылезает старая версия: другой дизайн, старый адрес мастерской, телефон, который уже не работает. Разработчик говорит, что старый сайт удалён. Откуда тогда он в поиске?

Анатолий Кузнецов автор

Сначала посмотрите на адрес в результате поиска: это ваш домен или что-то другое. Если адрес другой, например поддомен или технический адрес, значит, старая версия всё ещё где-то открывается и её нужно закрыть или перенаправить. Если адрес ваш, но страница в поиске выглядит по-старому, это может быть старый снимок, а сама страница уже изменилась. Тогда отправьте её на переобход в Вебмастере и проверьте, что сейчас по ней отвечает сервер. Старый адрес мастерской в выдаче опасен сам по себе: человек приедет не туда, поэтому разобраться стоит быстро.

Диана Дорофеева

А если на копии просто поставить canonical на основной сайт? Разработчик предлагает так, говорит, это проще, чем пароль. Судя по таблице в статье, это не лучший вариант, но хоть что-то?

Василий Ковалёв

Тоже работаю на Битриксе. Добавлю к спору с Вадимом: самая неприятная история не с роботами, а с формами. На тестовой площадке формы шлют письма на мой ящик, и если копия в поиске, туда приходят настоящие заявки чужих клиентов. Теперь в чек-листе сдачи у меня отдельный пункт: удалить площадку или закрыть паролем, и показать это заказчику.

Марина Вавилова

Прочитала и спросила своего разработчика, есть ли у него копии моего сайта. Оказалось, три: одна на его домене, одна на поддомене и одна на старом хостинге. Про две он сам забыл. Теперь хочу, чтобы при каждой доработке он отдельно писал, где копия и когда он её закроет.

Оставьте комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

 Отправляя форму, вы принимаете правила конфиденциальности 
Прокрутить вверх