Файлы-сироты и технологические отходы на сайте

Файлы-сироты и технологические отходы на сайте копятся у всех, кто работает дольше двух лет, и почти никогда не попадают в отчёты. В меню их нет, на главной не видно, посетитель на них не заходит. Зато робот заходит регулярно: он помнит адреса из старого индекса, находит забытые PDF по внешним ссылкам и исправно тратит на этот хлам часть выделенного на сайт обхода. Пока владелец обсуждает новые статьи и закупку ссылок, половина обходов уходит на страницы вложений и дубли картинок в пяти размерах.

В SEO я с 2005 года, и чистка мусора остаётся одной из немногих работ, где результат виден быстро и не требует бюджета: удалили лишнее, закрыли служебное, перенаправили старое — и через месяц-полтора обход перераспределился на живые страницы. Ниже — как отличить сироту от рабочего файла, как найти всё это без программиста и что делать с каждым типом находки, чтобы не снести заодно нужное.

Что считать сиротой, а что технологическим отходом

Файл-сирота — документ на сервере, на который не ведёт ни одна внутренняя ссылка. Картинка из удалённой статьи, PDF-прайс, ссылку на который убрали из меню, HTML-страница от прошлого дизайна. Формально файл жив, отдаёт код 200, лежит в папке загрузок или в корне. Но попасть на него с самого сайта нельзя — только по прямому адресу, который знает поисковик и не знает человек.

Технологические отходы — понятие шире. Сюда попадает всё, что породила система, а не человек: служебные страницы CMS, страницы вложений, дубли с параметрами сортировки и меток, архивы по датам и авторам, бесконечная пагинация, результаты поиска по сайту, копии разделов на тестовом поддомене. Такие страницы обычно достижимы по ссылкам, но ценности не несут ни людям, ни поиску.

Тип находки	Есть ли ссылки с сайта	Типичный пример	Опасность
Файл-сирота	Нет	Картинка из удалённой статьи, старый прайс	Занимает обход, иногда попадает в поиск по картинкам
Страница-сирота	Нет	Лендинг закончившейся акции	Индексируется, конкурирует с живыми страницами
Служебная страница CMS	Да	Страница вложения, архив по автору	Раздувает индекс почти пустыми документами
Дубль по параметру	Да	Сортировка, метка, идентификатор источника	Расщепляет сигналы между копиями одной страницы
Копия сайта	Нет	Папка /old/, dev-поддомен	Полное дублирование, риск подмены основной версии

Разница важна для метода поиска. Сироту не найдёт краулер, идущий по ссылкам с главной, — по определению на неё ссылок нет. Её видно только при сверке с внешними источниками: списком страниц в поиске, картой сайта, логами сервера, содержимым папки загрузок. Отходы, наоборот, краулер находит первым же проходом, потому что до них ведут ссылки из шаблонов.

Откуда всё это берётся

Причины бытовые, никакой мистики. Перечислю в порядке частоты, с которой встречаются в работе.

• Смена дизайна. Новую тему поставили, старую не удалили. На сервере остались шаблоны, их картинки и иногда демо-страницы, которые тема ставит при установке.
• Переезд с одной CMS на другую. Материал начинает открываться и по новому адресу, и по старому, если разработчик не закрыл старые маршруты. Плюс импортёр обычно тащит вложения повторно.
• Плагины изображений. Каждое загруженное фото нарезается в четыре-пять размеров, часть из которых шаблон никогда не использует. На блоге с тысячей картинок это четыре тысячи лишних файлов.
• Разовые кампании. Лендинг под акцию, страница вебинара, форма записи на мероприятие. Событие прошло, страница висит и продолжает индексироваться.
• Автоматика CMS. Страницы вложений, архивы по датам, по авторам, по меткам, ленты в разных форматах. На небольшом блоге это сотни адресов, которых никто не заказывал.
• Тесты и черновики. Копия раздела «на посмотреть», страница-заготовка, дубль главной с другим оффером. Живут годами, потому что удалить забывают, а вреда «вроде бы нет».
• Выгрузки и бэкапы в открытых папках. Архив базы или zip с сайтом, оставленный в корне после переноса. Кроме мусора, это ещё и дыра в безопасности.

Общая черта: каждый отдельный случай выглядит безобидно. Проблема появляется от накопления. Через пять лет работы у среднего корпоративного сайта на пятьсот полезных страниц набирается от полутора до трёх тысяч адресов, о которых владелец не знает.

Чем мусор мешает на самом деле

Здесь важно не преувеличивать. Отходы не накладывают на сайт санкций и не обнуляют позиции. Механизмов вреда три, и все они косвенные.

Расход обхода. Поисковик выделяет сайту ограниченный ресурс: сколько страниц он готов скачивать за сутки. Ресурс зависит от скорости ответа сервера, размера сайта и накопленного к нему интереса. Если из тысячи ежесуточных запросов робота шестьсот уходят на страницы вложений и комбинации параметров, новые карточки товаров ждут своей очереди неделями. На маленьком сайте это незаметно, на каталоге в десятки тысяч страниц — критично.

Если нужны детали, смотрите «Как определить самую релевантную запросу страницу на сайте».

Размывание сигналов. Когда одна и та же страница доступна по трём адресам, внешние и внутренние ссылки распределяются между ними, а поисковик сам выбирает главный вариант. Выбор не всегда совпадает с вашим: в выдаче регулярно оказывается адрес с параметром сортировки вместо чистого адреса категории.

Общее впечатление о качестве. Доля малоценных страниц в индексе — это измеримая величина, и она видна в отчётах Вебмастера. Сайт, где из трёх тысяч известных адресов в поиске полторы, а остальные помечены как малоценные, выглядит иначе, чем сайт, где известно шестьсот адресов и шестьсот же в поиске. Прямой формулы тут нет, но корреляция устойчивая и подтверждается на практике.

Размер сайта	Когда мусор терпим	Когда вредит заметно
До 100 страниц	Почти всегда: обхода хватает на всё	Если мусор дублирует коммерческие страницы
100–1000	Пока доля отходов ниже трети	Когда служебных адресов больше, чем полезных
1000–10 000	Практически никогда	Новые страницы индексируются неделями
Свыше 10 000	Никогда	Часть каталога вообще не попадает в поиск

Как найти сирот: сверка трёх списков

Помогу с продвижением: SEO-продвижение под ключ — вывожу сайты в топ Яндекса белыми методами.

Метод простой и не требует программиста. Нужно получить три независимых списка адресов и сравнить их между собой. Разница и есть находки.

Подробно о внутренних ссылках и распределении веса по сайту:

1. Список достижимых страниц. Обход краулером от главной. То, что робот способен найти по ссылкам.
2. Список страниц в поиске. Выгрузка из Яндекс Вебмастера и из Google Search Console. То, что поисковики уже знают о вашем сайте.
3. Список из карты сайта. Файл sitemap.xml, который отдаёт CMS.

8:40

Дальше сравниваем попарно и читаем результат.

Что сравниваем	Что означает расхождение	Действие
Есть в поиске, нет у краулера	Страница-сирота: ссылок с сайта на неё нет	Решить: вернуть в структуру или удалить с 410
Есть у краулера, нет в карте сайта	Карта неполная или страница закрыта от индексации	Проверить мета-теги и настройки генератора карты
Есть в карте, нет у краулера	Карта отдаёт адреса, до которых нет пути	Добавить ссылки или убрать из карты
Есть в карте, отдаёт 404	Карта не обновляется после удалений	Перегенерировать карту, проверить плагин
Есть в логах, нет нигде больше	Робот ходит по адресам из старого индекса	Отдавать 410 или 301 на живой раздел

Четвёртый источник, который дают редко, а он самый честный, — логи сервера за две-четыре недели. В них видно не то, что вы думаете о сайте, а куда робот действительно ходит. Именно логи обычно показывают целые пласты забытых адресов: старые рубрики, страницы фильтров, ленты в форматах, о которых вы не подозревали.

Инвентаризация файлов на сервере

Страницы — половина дела. Вторая половина лежит в папке загрузок и в корне сайта, и туда краулер по ссылкам не попадёт. Порядок проверки такой.

Подробнее об этом — в статье «Как найти страницы без трафика на сайте».

• Смотрим папку загрузок по годам. Файлы за годы, когда сайт активно не наполнялся, почти всегда мусор от переносов или тестов.
• Считаем размеры одного изображения. Если для каждой фотографии на диске лежат пять файлов, а шаблон использует два, три размера можно отключить в настройках и вычистить существующие.
• Ищем архивы и дампы. Файлы с расширениями zip, tar, sql, bak в корне и в подпапках. Их надо не просто закрывать от индексации, а удалять с сервера или уносить в защищённое хранилище.
• Проверяем открытость каталогов. Откройте адрес папки без имени файла. Если браузер показал список файлов — листинг каталогов включён, и его нужно выключить настройкой сервера.
• Ищем копии сайта. Папки с говорящими названиями вроде old, new, backup, test, а также поддомены разработчика. Закрывать паролем на уровне сервера, а не строкой в robots.txt.

Перед любым удалением делается резервная копия. Это не формальность: половина «сирот» в папке загрузок на поверку оказывается картинками, которые используются в теле статей прямыми ссылками, и связь с записью в базе у них не прописана. Удалите такие файлы — и в десятке статей появятся битые изображения.

Что делать с каждым типом находки

Главная ошибка при чистке — одинаковое решение для всего списка. Массовое удаление ломает страницы, массовый редирект на главную создаёт новый вид мусора, массовый запрет в robots.txt оставляет адреса в поиске без описания. Решение выбирается по типу находки.

Находка	Решение	Почему так
Страница закончившейся акции, аналога нет	410	Быстро снимается с проверки, не копит обходы
Старый раздел, есть современный аналог	301 на аналог	Сохраняет накопленный вес и внешние ссылки
Страница вложения, архив по автору	Отключить в CMS или noindex	Документ пустой, но адрес порождается шаблоном
Дубль с параметром сортировки	Канонический адрес плюс правило в robots.txt	Комбинаций бесконечно много, вручную не перечислить
Результаты внутреннего поиска	Запрет обхода в robots.txt	Генерируются на лету, ценности не имеют
Неиспользуемые размеры картинок	Удалить, отключить генерацию	Экономит диск и обход, на страницы не влияет
Архив базы в корне	Удалить немедленно	Это утечка данных, а не вопрос индексации

Отдельно про запрет в robots.txt: он останавливает обход, но не гарантирует отсутствия в выдаче. Если на закрытый адрес ведут внешние ссылки, он может появиться в результатах без описания. Чтобы страницы точно не было в поиске, ставится мета-тег robots со значением noindex, и адрес при этом должен оставаться открытым для обхода — иначе робот не прочитает указание.

Дубли, которые плодит сама CMS

Этот класс отходов заслуживает отдельного разбора, потому что он воспроизводится сам и появляется снова после каждого обновления системы.

• Страницы вложений. Отдельный адрес для каждой картинки с пустым содержимым. Отключается настройкой или перенаправлением на саму запись.
• Архивы по датам и авторам. На сайте с одним автором архив по автору дублирует ленту записей полностью. Отключается или закрывается.
• Метки и теги. Полезны, когда по метке собрана осмысленная подборка. Вредны, когда меток больше, чем записей, и каждая ведёт на страницу с одной статьёй.
• Пагинация комментариев. Порождает адреса вида /comment-page-2/ с почти тем же содержимым, что у основной страницы.
• Ленты в разных форматах. Отдельные ленты для рубрик, авторов, комментариев. Оставить нужно одну общую, остальные отключить.
• Печатные версии. Копия страницы по адресу с параметром печати. Закрывается канониклом.

Если нужна помощь по теме — разработка сайта под ключ.

Проверить, что из этого есть у вас, можно поисковым оператором в самой выдаче: запрос вида site:ваш-домен.ru с добавлением характерного фрагмента адреса быстро показывает, попали ли такие страницы в индекс. Это грубый метод, но он занимает пять минут и часто даёт первый список работ.

Порядок чистки без потерь

Чистка — операция с риском, поэтому её делают по регламенту, а не наскоком в пятницу вечером.

Тему разбирал отдельно: «Ошибки на сайте — как обнаружить и устранить».

1. Полная резервная копия. База и файлы. До первого удаления, а не после.
2. Инвентаризация в таблицу. Каждая находка — строка: адрес, тип, есть ли трафик, есть ли внешние ссылки, решение.
3. Проверка трафика и ссылок. Страница без внутренних ссылок может при этом получать заходы из поиска и иметь внешние ссылки. Такую не удаляют, а возвращают в структуру.
4. Пилотная партия. Первые полсотни адресов обрабатываются вручную, результат смотрится через две недели по отчётам обхода.
5. Массовая обработка. Остальное — правилами и партиями по нескольку сотен, с фиксацией даты каждой партии.
6. Обновление карты сайта и перегенерация. После удалений карта обязана перестроиться, иначе она сама станет источником битых адресов.
7. Контроль через месяц. Повторный обход краулером, сверка числа страниц в поиске, проверка отчёта об ошибках обхода.

Отдельное правило про трафик: прежде чем удалять, посмотрите статистику за год, а не за месяц. Сезонные страницы — расписания, страницы под праздники, подборки к началу учебного года — большую часть года выглядят мёртвыми и оживают на три недели. Их не удаляют, их обновляют.

Как не зарастать снова

Разовая чистка даёт эффект на год-полтора, потом всё возвращается. Профилактика дешевле повторных разборов.

Периодичность	Что проверять	Сколько занимает
При каждом удалении страницы	Настроить 301 или 410, убрать ссылки на неё	Пять минут
Ежемесячно	Отчёт об ошибках обхода в Вебмастере	Пятнадцать минут
Раз в квартал	Обход краулером, сверка с картой сайта	Час
Раз в полгода	Логи сервера, инвентаризация папки загрузок	Полдня
После смены темы или CMS	Полный аудит адресов и файлов	День

Два правила, которые снимают большую часть будущих проблем. Первое: удаление страницы — это процедура из двух шагов, а не из одного. Убрали материал, сразу настроили код ответа и убрали внутренние ссылки. Второе: любая новая функциональность на сайте проверяется на порождение адресов. Поставили плагин галереи, календарь событий, фильтр — через неделю обойдите сайт краулером и посмотрите, сколько новых адресов он нашёл.

Частые вопросы

Сколько мусора считается нормой? Универсального числа нет, ориентир такой: доля адресов, которые вы не можете объяснить, должна быть близка к нулю. Если в списке известных поисковику страниц треть — это то, о чём вы впервые слышите, работать есть с чем.

Помогает ли удаление мусора поднять позиции? Напрямую — нет. Косвенно — да, за счёт того, что обход перераспределяется на живые страницы, и они быстрее переиндексируются. На больших каталогах эффект заметен, на сайте из тридцати страниц его не будет.

Что лучше для удалённой страницы: 404 или 410? Для единичных удалений разницы почти нет. При массовом удалении лучше 410: робот снимает такие адреса с повторных проверок заметно быстрее и перестаёт тратить на них обход.

Можно ли просто перенаправить всё удалённое на главную? Нет, это создаёт новый вид проблемы. Массовый редирект на главную поисковики трактуют как мягкую ошибку и обрабатывают почти как 404, зато вы теряете возможность отследить, что именно и куда ведёт. Редирект ставится только на близкий по смыслу материал.

Как найти внешние ссылки на страницу перед удалением? Отчёт по входящим ссылкам есть в Яндекс Вебмастере и в Google Search Console, дополнительно можно посмотреть в Мегаиндексе. Если на страницу есть живые внешние ссылки, её либо оставляют, либо перенаправляют на замену, но не удаляют в ноль.

Нужно ли чистить старые картинки, если места на диске хватает? Место здесь второстепенно. Смысл в другом: неиспользуемые размеры изображений попадают в индекс картинок и в обход, а также замедляют резервное копирование. Если файлов десятки тысяч, чистить стоит, если сотни — можно отложить.

Коротко

• Сирота — файл или страница без единой внутренней ссылки; технологический отход — то, что породила сама CMS. Ищут их разными методами.
• Сирот находит не краулер, а сверка трёх списков: обход по ссылкам, страницы в поиске, карта сайта. Четвёртый и самый честный источник — логи сервера.
• Вред мусора косвенный: расход обхода, размывание сигналов между дублями и высокая доля малоценных страниц в индексе.
• Решение выбирается по типу находки: 410 для удалённого, 301 для заменённого, noindex для служебного, канониклы для дублей по параметрам.
• Перед удалением проверяют трафик за год и входящие ссылки — часть «мёртвых» страниц сезонные или держат внешние ссылки.
• Разовая чистка зарастает за год-полтора, поэтому нужен регламент: контроль ошибок обхода ежемесячно, обход краулером ежеквартально, инвентаризация файлов раз в полгода.

Если в Вебмастере у вас тысячи известных адресов при нескольких сотнях реальных страниц и непонятно, с какого конца это разбирать, приходите на SEO-консультацию: разложим список находок по типам, определим, что удалять, что перенаправлять и что закрывать, и составим порядок работ, при котором ничего живого не потеряется.