
Вы ищете свою компанию в Яндексе, открываете результат, и вроде бы это ваш сайт: тот же дизайн, те же тексты. Только в адресной строке перед доменом стоит dev или test, телефон указан старый, а форма заявки ничего никуда не отправляет. Это тестовая копия сайта, которую разработчик сделал для правок и не закрыл. Поисковик нашёл её, увидел два одинаковых сайта и сам решил, какой из них показывать людям.
Ниже — откуда берутся такие копии, как робот на них выходит и чем они мешают основному сайту. Покажу, как найти копию за десять минут и как закрыть её так, чтобы не задеть рабочий сайт. В SEO я с 2005 года, и забытая тестовая площадка — одна из тех проблем, которые владелец почти никогда не видит сам: он заходит на свой сайт по закладке, а не через поиск.
Коротко
- Тестовые копии живут на поддоменах dev, test и stage, на техническом адресе хостинга, по IP-адресу сервера или в папке вроде /new/.
- Робот находит копию по ссылкам, карте сайта, счётчику Метрики и уведомлениям, которые отправляют плагины. Разработчику не нужно ничего публиковать специально.
- Когда в индексе два одинаковых сайта, поисковик выбирает один из них сам, и выбор не всегда падает на рабочий.
- Лучший способ закрыть копию — пароль на уровне сервера. Метатег noindex и заголовок X-Robots-Tag тоже работают, а один robots.txt удаления из поиска не гарантирует.
- Если копия больше не нужна, её удаляют или ставят 301-редирект на основной сайт, а потом ускоряют чистку инструментом удаления в Вебмастере.
- Частая обратная авария: запрет индексации с копии вместе с обновлением переезжает на рабочий сайт.
Если не уверены, что делать с найденной копией, и не хотите случайно закрыть от поиска рабочий сайт, разберите ситуацию на SEO-консультации: смотрю, где живёт копия, что из неё уже в индексе и в каком порядке её закрывать.
Откуда берутся тестовые копии
Править живой сайт опасно: ошибка в коде сразу видна покупателям. Поэтому разработчик делает копию, доводит изменения на ней и только потом переносит их на рабочий адрес. Сама практика правильная. Проблема в том, что про копию забывают, когда работа сдана.
Где обычно живёт копия:
- Поддомен. dev.вашсайт.ру, test.вашсайт.ру, stage.вашсайт.ру, new.вашсайт.ру. Для поисковика поддомен — отдельный сайт со своим индексом.
- Технический адрес хостинга. Многие хостинги выдают каждому аккаунту служебный домен вида имя-аккаунта.хостинг.ру. Сайт открывается по нему с первого дня, ещё до привязки вашего домена.
- IP-адрес сервера. Если сервер отвечает на запрос по голому IP и отдаёт ваш сайт, это тоже отдельный адрес с полной копией.
- Папка на основном домене. вашсайт.ру/new/, /test/, /old/, /v2/. Часто так делают при редизайне: новую версию собирают рядом со старой.
- Домен разработчика. Студия или фрилансер держит копию на своём домене, чтобы показывать заказчику. Через год её никто не помнит.
- Старый хостинг после переезда. Сайт перенесли, а аккаунт на прежнем хостинге оплачен до конца года, и копия продолжает отвечать по техническому адресу.
Как робот находит копию, которую никто не публиковал
Владельцы часто думают: про адрес копии знают двое, значит, поисковик о ней не узнает. На практике путей у робота много, и большинство из них открывает сам процесс разработки.
- Ссылки. Разработчик вставил в текст абсолютную ссылку на копию, и после переноса она осталась на рабочем сайте. Или ссылка лежит в портфолио, в открытой задаче, в публичном чате, на форуме, где спрашивали совет.
- Карта сайта. CMS на копии генерирует sitemap.xml со своими адресами. Если файл когда-то отправили в Вебмастер или он указан в robots.txt копии, робот получил список всех её страниц.
- Счётчик Метрики. Копию делают целиком, вместе с кодом счётчика. В Вебмастере есть раздел «Обход по счётчикам»: робот использует данные Метрики, чтобы быстрее находить страницы. Код счётчика на копии — лишний повод для робота заглянуть туда.
- Плагины уведомлений. Модули IndexNow и пингов шлют поисковикам адреса новых и изменённых страниц автоматически. На копии они продолжают работать и сообщают о каждой правке.
- Открытые журналы сертификатов. Когда на поддомен выпускают SSL-сертификат, его имя попадает в публичные журналы, которые может прочитать кто угодно.
Какие ещё сигналы поисковики используют для обнаружения адресов, они подробно не раскрывают. Поэтому рассчитывать на то, что о копии никто не узнает, нельзя. Закрывать её нужно с первого дня.
Чем копия в индексе вредит основному сайту
Одна страница копии в поиске — ещё не беда. Проблемы начинаются, когда копия попадает в индекс целиком.
- Дубли. Две одинаковые страницы на разных адресах спорят за один запрос. Поисковик оставляет в выдаче одну и не всегда ту, которую вы считаете главной. Подробнее про механику — в статье о том, что такое зеркало сайта.
- Склейка не в вашу пользу. В справке Яндекса сказано прямо: алгоритмы со временем находят адреса с одинаковым содержимым и объединяют их, а если главный адрес не указан, робот выбирает его сам. Копия с похожими текстами может оказаться в выдаче вместо рабочего сайта.
- Потерянные заявки. На копии часто отключена отправка почты, стоит тестовый ключ платёжной системы, висят старые цены и телефоны. Человек оставляет заявку, видит «Спасибо» и ждёт звонка, которого не будет.
- Чужие визиты в Метрике. Если код счётчика перенесли на копию, её посещения попадают в вашу статистику. Отчёты о конверсии и источниках начинают врать, и решения по рекламе принимаются по искажённым цифрам.
Где живёт копия и чем её закрыть
| Где живёт копия | Как её находит робот | Чем закрыть |
|---|---|---|
| Поддомен dev, test, stage | Ссылки, карта сайта, счётчик Метрики, журналы сертификатов | Пароль на уровне сервера, на время переноса — noindex |
| Технический адрес хостинга | Ссылки из открытых чатов и задач, счётчик, плагины | Отключить адрес в панели хостинга или поставить 301 на основной домен |
| IP-адрес сервера | Ссылки, ошибки настройки сервера | Сервер должен отвечать по IP пустой заглушкой или редиректом на домен |
| Папка /new/, /test/ на основном домене | Внутренние ссылки, общая карта сайта | Пароль на папку, после запуска — удалить или 301 |
| Старый хостинг после переезда | Адреса, которые робот уже знал | Удалить файлы и базу со старого аккаунта |
Как найти копию своего сайта за 10 минут
Понадобятся поиск, Вебмастер и Метрика, доступ к серверу не нужен.
- Поиск по уникальной фразе. Возьмите с главной или со страницы услуги предложение, которое есть только у вас, и вбейте его в Яндекс в кавычках. В выдаче должен быть один ваш домен. Любой другой адрес с тем же текстом — копия или кража текста, и то и другое стоит знать.
- Оператор site. Запрос site:вашсайт.ру покажет страницы домена и поддоменов. Ищите в адресах слова dev, test, stage, new, old, beta. Отдельно проверьте site:dev.вашсайт.ру и site:test.вашсайт.ру.
- Вебмастер. Откройте Индексирование → Страницы в поиске и посмотрите, нет ли среди адресов папок /new/ или /test/. Поддомены в Вебмастере считаются отдельными сайтами, поэтому, если у вас есть доступ к DNS, добавьте найденный поддомен как свой сайт и подтвердите права: это понадобится для удаления.
- Метрика. Откройте отчёт Содержание → Популярное и включите группировку по адресам страниц. Если среди адресов встречается чужой домен или технический адрес хостинга, код счётчика стоит на копии и она получает посетителей.
- Панель хостинга и DNS. Посмотрите список сайтов и поддоменов в панели хостинга и записи в DNS. Каждый поддомен, о котором вы не знали, — повод спросить разработчика, что на нём лежит.
Если нашли копию, не удаляйте её сразу. Сначала спросите разработчика, нужна ли она, и сохраните резервную копию: на тестовой площадке иногда лежат правки, которых ещё нет на рабочем сайте.
Как закрыть копию правильно
Задача у закрытия двойная: чтобы копию не видел робот и чтобы на неё не попадали люди. Способы различаются тем, какую часть задачи они решают.
Пароль на уровне сервера. Лучший вариант для копии, которая ещё нужна разработчику. Доступ закрывают базовой авторизацией в настройках веб-сервера или функцией защиты папки паролем в панели хостинга. Робот получает ответ «нужна авторизация» и не видит ни строчки текста. Человек из поиска тоже не попадает на копию. Пароль, поставленный на уровне CMS через плагин, хуже: часть файлов и страниц может остаться открытой.
Метатег noindex и заголовок X-Robots-Tag. Запрещают индексировать страницу и убирают уже попавшие адреса. Метатег ставят в шаблон копии, заголовок — в настройках сервера сразу на весь поддомен. Заголовок удобнее: он закрывает и файлы, в которые метатег не вставишь, например PDF. Как это устроено, подробно описано в статье про X-Robots-Tag для файлов и страниц. Слабое место одно: людей noindex не останавливает, и копия остаётся открытой по прямой ссылке.
301-редирект на основной сайт. Если копия больше не нужна, каждый её адрес перенаправляют на такой же адрес рабочего сайта. Робот склеивает их в пользу основного, а человек, пришедший по старой ссылке, попадает куда нужно.
Удаление в Вебмастере. В разделе Инструменты → Удаление страниц из поиска можно указать адрес или префикс, чтобы убрать группу страниц, не дожидаясь планового обхода. Инструмент работает только для страниц, которые уже закрыты одним из способов выше.
| Способ закрытия | Убирает из индекса? | Риск |
|---|---|---|
| Пароль на уровне сервера | Да, робот не видит содержимого | Пароль переезжает на рабочий сайт при выкладке, если хранится в общих файлах |
| noindex в метатеге | Да, после того как робот перечитает страницу | Люди по-прежнему попадают на копию; метатег уезжает на рабочий сайт вместе с шаблоном |
| Заголовок X-Robots-Tag | Да, включая файлы | Настройку сервера копируют на рабочий сайт |
| 301-редирект на основной сайт | Да, адреса склеиваются с рабочими | Копией больше нельзя пользоваться |
| Disallow в robots.txt | Не гарантирует | Робот не видит noindex; файл переезжает на рабочий сайт |
| rel=»canonical» на основной сайт | Подсказка, а не команда | При различиях в текстах подсказку могут не учесть |
Почему одного robots.txt мало
Самый частый ответ разработчика на вопрос о копии: «Там закрыто в robots.txt». Это закрытие обхода, а не удаления из поиска, и разница существенная.
Disallow в robots.txt говорит роботу «не заходи сюда». В справке Яндекса по файлу robots.txt сказано, что страницы, ограниченные в нём, могут участвовать в поиске. Там же советуют для удаления использовать noindex и не закрывать такие страницы в robots.txt, иначе робот не увидит директиву. Документация Google говорит то же самое: запрещённый адрес может попасть в индекс, если на него ведут ссылки, а noindex на заблокированной странице робот просто не прочитает.
Отсюда типичная ловушка. Копию уже проиндексировали, разработчик добавил Disallow и одновременно noindex. Робот перестал заходить на страницы, метатег не увидел, адреса висят в поиске. Правильный порядок обратный: сначала noindex или пароль, дождаться, пока копия выпадет, и только потом, если нужно, закрывать обход.
И главное: robots.txt никак не защищает копию от людей. Любой, кто знает адрес, откроет её, оставит заявку и не получит ответа.
Обратная авария: запрет с копии переезжает на рабочий сайт
Есть зеркальная ситуация, и по последствиям она тяжелее. Копию честно закрыли от индексации: robots.txt с запретом всего сайта, noindex в шаблоне или галочка в WordPress «Попросить поисковые системы не индексировать сайт» в разделе Настройки → Чтение. Потом изменения переносят на рабочий сайт целиком, вместе с файлами и настройками. Запрет уезжает туда же.
Внешне ничего не меняется: сайт открывается, заявки какое-то время идут. А робот при следующем обходе видит запрет и начинает выбрасывать страницы из поиска. Как одна строка в robots.txt выключает сайт из выдачи, я описывал в статье про строку в robots.txt, из-за которой сайт пропадает из Яндекса.
Как не допустить:
- Запрет для копии хранить в настройках сервера поддомена, а не в файлах сайта. Тогда при переносе файлов он не уедет.
- После каждой выкладки открывать вашсайт.ру/robots.txt и исходный код главной: искать noindex и Disallow: / без уточнений.
- В Вебмастере проверить раздел Диагностика: о запрете индексации важных страниц он сообщает отдельно.
- Приёмку работ строить по списку. Хороший пример такого списка — в статье о том, как принять сайт у разработчика.
Если копия уже в поиске: порядок действий
- Убедитесь, что рабочий сайт сам открыт для индексации: robots.txt, метатеги, заголовки сервера.
- Решите с разработчиком, нужна ли копия дальше.
- Если нужна — поставьте пароль на уровне сервера. Если не нужна — настройте 301-редирект каждого адреса на такой же адрес рабочего сайта или удалите копию.
- Уберите с копии код счётчика Метрики, отключите карту сайта и плагины уведомлений.
- В настройках счётчика Метрики включите «Принимать данные только с указанных адресов», чтобы чужие визиты больше не попадали в отчёты.
- Добавьте поддомен в Вебмастер, подтвердите права и отправьте адреса или префикс в «Удаление страниц из поиска».
- Через неделю повторите поиск по уникальной фразе и запрос site. По справке Яндекса, страница удаляется из базы в течение недели после того, как робот обнаружит указания, но на обход тоже нужно время.
Чек-лист для владельца и разработчика
Владельцу:
- Знать все адреса, по которым открывается сайт: домен, поддомены, технический адрес хостинга.
- Раз в квартал делать поиск по уникальной фразе в кавычках и запрос site.
- Держать доступы к Вебмастеру, Метрике и DNS у себя, а не только у подрядчика.
- После переезда на другой хостинг удалять сайт со старого аккаунта.
- При приёмке работ спрашивать: где лежит копия и чем она закрыта.
Разработчику:
- Закрывать копию паролем на уровне сервера в первый же день.
- Не переносить на копию рабочий код счётчика и ключи платёжных систем.
- Отключать отправку заявок клиенту или явно помечать тестовые формы.
- Хранить запреты индексации в настройках сервера копии, а не в общих файлах.
- После выкладки проверять robots.txt и метатеги рабочего сайта.
- Удалять или перенаправлять копию, когда она больше не нужна.
Если хочется проверить сайт целиком, а не только на копии, начните с бесплатного экспресс-аудита сайта: он показывает ошибки индексации и технические проблемы на рабочем адресе.
Что я предлагаю
Я занимаюсь SEO-продвижением сайтов для бизнеса и GEO-продвижением в ответах нейросетей напрямую, без агентств, только белыми методами. Техника сайта — первое, что я смотрю: копии, зеркала, запреты индексации, дубли. Без этого остальная работа идёт впустую.
Результаты можно посмотреть в 130+ кейсах с адресами сайтов и в видео-портфолио. Если хотите сначала понять, что мешает вашему сайту, начните с экспресс-аудита по ссылке выше.
Проверьте прямо сейчас: какой результат даёт поиск по уникальной фразе с вашей главной? Один адрес или несколько?
Источники
- Наблюдения автора по работе с сайтами, с 2005 года.
- Яндекс Вебмастер, справка «Использование robots.txt»: ограниченные в robots.txt страницы могут участвовать в поиске, для удаления рекомендуется noindex — yandex.ru/support/webmaster.
- Яндекс Вебмастер, справка «Как скрыть от обхода страницы, которые не нужны в поиске»: noindex, X-Robots-Tag, коды 403, 404, 410, инструмент «Удаление страниц из поиска» по адресу или префиксу, удаление из базы в течение недели после обнаружения указаний — yandex.ru/support/webmaster.
- Яндекс Вебмастер, справка о главном и неглавных адресах сайта: объединение адресов с одинаковым содержимым и автоматический выбор главного адреса — yandex.ru/support/webmaster.
- Яндекс Метрика, справка «Индексирование сайта с помощью счётчика Метрики»: раздел Вебмастера «Обход по счётчикам» — yandex.ru/support/metrica.
- Яндекс Метрика, справка «Настройка счётчика»: опция «Принимать данные только с указанных адресов» — yandex.ru/support/metrika.
- Google Search Central, «Введение в файл robots.txt» и «Блокировка индексирования с помощью noindex»: заблокированный адрес может попасть в индекс по ссылкам, noindex на заблокированной странице не читается — developers.google.com, developers.google.com.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Остались вопросы по продвижению?
Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе.
Связаться со мной →
Комментарии
Делаю сайты на Битриксе больше десяти лет, и тестовые площадки у меня всегда закрыты в robots.txt. Ни разу не видел, чтобы такая площадка вылезла в поиск. Мне кажется, пароль — это перестраховка, которая только мешает показывать работу заказчику.
Если площадка закрыта с первого дня и на неё нет ссылок, robots.txt действительно часто хватает. Проблемы начинаются, когда запрет поставили позже, чем робот успел зайти, или когда на копию сослались извне. Яндекс в своей справке прямо пишет, что страницы, закрытые в robots.txt, могут участвовать в поиске, а для удаления советует noindex. Пароль закрывает копию не только от робота, но и от людей, которые нашли адрес. Заказчику проще отправить логин и пароль, чем потом выяснять, откуда у него заявки, ушедшие в никуда.
Нашла по вашему совету через поиск в кавычках копию своего магазина на адресе, который выдал прежний хостинг. Сайт на новый хостинг перевезли полгода назад, а старый аккаунт ещё оплачен. Там висят цены прошлой весны и корзина. Что делать в первую очередь: удалять или ставить редирект?
Сначала сохраните себе архив файлов и базы со старого аккаунта, на случай если там осталось что-то нужное. Потом посмотрите в панели старого хостинга, можно ли настроить редирект с технического адреса. Если можно, перенаправьте каждый адрес копии на такой же адрес рабочего магазина: так старые ссылки приведут покупателя туда, где корзина работает. Если такой настройки нет, удалите сайт со старого аккаунта целиком. Через неделю повторите поиск по той же фразе и проверьте, ушла ли копия.
Работаю на WordPress, все правки делаю сначала на локальной копии у себя на ноутбуке. Её тоже надо как-то закрывать? Она же вообще не в интернете.
Пока копия открывается только на вашем компьютере, поисковик до неё не доберётся. Риск в другом: при переносе в базу WordPress попадают адреса локальной копии, и в текстах остаются ссылки на них. Ещё один риск — галочка «Попросить поисковые системы не индексировать сайт», которую ставят на копии и забывают снять при переносе. После каждой выкладки откройте исходный код главной и поищите noindex и адрес локальной копии. Это занимает пару минут.
Веду маркетинг стоматологии. В Метрике в популярных страницах вижу адреса с каким-то непонятным доменом, похожим на адрес хостинга. Визитов там немного, но они есть. Это и есть копия, о которой вы пишете?
Очень похоже на неё. Откройте один из этих адресов в браузере: если там ваш сайт, значит, он доступен по техническому адресу хостинга и на нём срабатывает ваш счётчик. Попросите разработчика закрыть этот адрес или перенаправить его на основной домен. В настройках счётчика включите «Принимать данные только с указанных адресов», чтобы такие визиты перестали смешиваться с рабочими. Заодно проверьте, не попал ли технический адрес в поиск, запросом по уникальной фразе с вашей главной.
У меня сайт на Тильде, и отдельной тестовой копии нет: правлю в редакторе и публикую, когда готово. Проверил поиском по фразе с главной, нашёлся только мой домен. Видимо, такой проблемы у меня просто не может быть, если сам ничего не копировал.
Инна, у меня была такая же история с магазином после переезда. Старый хостинг продолжал отвечать по своему адресу, и в поиске иногда вылезала его версия. Я удалила сайт со старого аккаунта, и через какое-то время копия из поиска пропала. Правда, проверить, сколько заявок за это время ушло в старую корзину, уже нельзя.
Сисадмин, поддерживаю пару десятков серверов. Вадим, пароль на тестовом поддомене ставится за пять минут и не мешает показу, если дать заказчику логин. Ещё вариант — открыть доступ только с нужных IP. А вот что реально бывает: настройку авторизации кладут в файл, который лежит в корне сайта, и при выкладке он уезжает на рабочий адрес. После этого сайт просит пароль у всех посетителей.
Фрилансер на WordPress. Один раз сама попала на обратную аварию: перенесла сайт с тестового поддомена вместе с настройками, а галочка запрета индексации осталась включённой. Заметила, только когда клиент спросил, почему страницы пропадают из поиска. С тех пор после каждого переноса первым делом открываю раздел Настройки → Чтение.
У меня автосервис. Сайт переделали два года назад, а в поиске до сих пор иногда вылезает старая версия: другой дизайн, старый адрес мастерской, телефон, который уже не работает. Разработчик говорит, что старый сайт удалён. Откуда тогда он в поиске?
Сначала посмотрите на адрес в результате поиска: это ваш домен или что-то другое. Если адрес другой, например поддомен или технический адрес, значит, старая версия всё ещё где-то открывается и её нужно закрыть или перенаправить. Если адрес ваш, но страница в поиске выглядит по-старому, это может быть старый снимок, а сама страница уже изменилась. Тогда отправьте её на переобход в Вебмастере и проверьте, что сейчас по ней отвечает сервер. Старый адрес мастерской в выдаче опасен сам по себе: человек приедет не туда, поэтому разобраться стоит быстро.
А если на копии просто поставить canonical на основной сайт? Разработчик предлагает так, говорит, это проще, чем пароль. Судя по таблице в статье, это не лучший вариант, но хоть что-то?
Тоже работаю на Битриксе. Добавлю к спору с Вадимом: самая неприятная история не с роботами, а с формами. На тестовой площадке формы шлют письма на мой ящик, и если копия в поиске, туда приходят настоящие заявки чужих клиентов. Теперь в чек-листе сдачи у меня отдельный пункт: удалить площадку или закрыть паролем, и показать это заказчику.
Прочитала и спросила своего разработчика, есть ли у него копии моего сайта. Оказалось, три: одна на его домене, одна на поддомене и одна на старом хостинге. Про две он сам забыл. Теперь хочу, чтобы при каждой доработке он отдельно писал, где копия и когда он её закроет.