Как проверить сайт на ошибки: основные технические и SEO-проверки

Проверить сайт на ошибки можно за час, а можно за месяц — и разница здесь не в тщательности, а в порядке действий. Краулер выдаёт четыре тысячи строк, Вебмастер подсвечивает два десятка предупреждений, сервис скорости показывает красную цифру, и владелец сайта тонет в этом раньше, чем добирается до единственной ошибки, которая реально стоит ему трафика. Порядок важнее полноты: сначала проверяется то, что способно обнулить весь сайт, и только потом то, что стоит одного процента.

В SEO с 2005 года, и за это время видел десятки аудитов на сорок страниц, где на первом месте стояло отсутствие атрибута alt у иконок, а закрытый от индексации раздел с половиной ассортимента упоминался в приложении. Ниже — порядок проверки от самого дорогого к самому дешёвому, набор инструментов под каждый шаг и правила чтения отчётов, чтобы отличать настоящую проблему от строки в таблице.

Порядок проверки: от дорогого к дешёвому

Ошибки сортируются не по типу, а по цене последствий. Наверху — то, что убирает страницы из поиска целиком. Ниже — то, что снижает оценку части страниц. В самом низу — то, что заметно только в отчёте и на трафик не влияет. Проверять сверху вниз, чинить сверху вниз.

Приоритет	Что проверяем	Цена ошибки	Где смотреть
1	Доступность сайта и код ответа главных страниц	Сайт исчезает из поиска целиком	Вебмастер, любой сервис проверки заголовков
2	Запреты индексации: robots.txt, метатег, HTTP-заголовок	Пропадает раздел или весь сайт	robots.txt, исходный код, Вебмастер
3	Зеркала и склейка: www, https, слеш	Вес делится между копиями	Вебмастер, проверка редиректов
4	Дубли и канонические адреса	Позиции размываются между копиями	Краулер, Вебмастер, поиск по сайту
5	Битые страницы и цепочки редиректов	Теряется вес и бюджет обхода	Краулер, отчёт об обходе
6	Заголовки, title, description	Падает кликабельность и релевантность	Краулер, отчёт Вебмастера
7	Скорость и мобильная версия	Растут отказы, особенно на мобильных	Сервисы измерения, Метрика
8	Разметка, alt, валидность вёрстки	Влияние косвенное и небольшое	Валидатор, проверка микроразметки

Правило, которое экономит недели: не переходите к следующему уровню, пока не закрыт предыдущий. Оптимизация скорости на сайте, половина которого закрыта в robots.txt, — это работа, результат которой не будет виден никогда.

Пять минут ручной проверки без инструментов

Первый заход делается руками, и он часто находит самое дорогое. Порядок такой.

• Откройте адрес сайта в четырёх вариантах: с www и без, по http и https. Все три лишних должны переадресовывать на один основной адрес одним переходом.
• Откройте site.ru/robots.txt и прочитайте файл целиком. Ищите строки Disallow с одним слешем и запреты на разделы, которые должны быть в поиске.
• Наберите в поиске запрос вида site:ваш-домен и посмотрите, сколько страниц найдено и что именно попало в выдачу. Мусорные адреса с параметрами и служебные страницы видно сразу.
• Откройте любую внутреннюю страницу и посмотрите исходный код: есть ли метатег robots с запретом, куда указывает канонический адрес, заполнены ли title и описание.
• Наберите заведомо несуществующий адрес на своём домене. Должна открыться страница с кодом 404, а не главная и не пустой экран с кодом 200.
• Откройте сайт на телефоне и попробуйте оформить заявку до конца. Половина мобильных проблем находится именно так, а не в отчётах.

Эти шесть проверок закрывают верхние три уровня таблицы приоритетов и не требуют ни одного платного сервиса. Если на каком-то из них нашлась проблема, дальше идти рано — сначала чинить.

Яндекс.Вебмастер: какие отчёты и в каком порядке

Вебмастер — единственный источник, который показывает сайт глазами поиска, а не глазами стороннего краулера. Порядок обхода отчётов имеет значение.

Отчёт	Что показывает	На что смотреть в первую очередь
Диагностика сайта	Сводка проблем разной степени	Только блок фатальных и критичных
Индексирование → Страницы в поиске	Сколько страниц в выдаче и динамика	Резкие скачки и раздел «исключённые»
Индексирование → Статистика обхода	Что робот скачивал и с каким ответом	Доля кодов, отличных от 200
Поисковые запросы	Показы, клики, средняя позиция	Падение показов по группам запросов
Инструменты → Проверка ответа сервера	Код и заголовки конкретного адреса	Ответ для робота, а не для браузера
Инструменты → Анализ robots.txt	Разрешён ли конкретный адрес	Проверка спорных разделов по одному
Товары и цены, разметка	Корректность структурированных данных	Ошибки, мешающие расширенным сниппетам

Самый информативный отчёт — исключённые страницы с указанием причины. Именно там поиск прямо говорит, почему страницы нет в выдаче: недостаточно качественная, дубль, запрещена в robots.txt, ошибка при обходе. Каждая причина требует своих действий, и путать их нельзя: дубль лечится склейкой, «недостаточно качественная» — переработкой содержания, а запрет в robots.txt — правкой одной строки.

Второй по полезности — статистика обхода. Если робот тратит большую часть визитов на страницы с параметрами, служебные адреса и редиректы, значит, до нужных страниц у него ресурса не остаётся. Это видно как разрыв: адресов на сайте тысяча, а робот скачивает по десять тысяч в сутки, и это не признак внимания, а признак беспорядка.

Диагностику читайте выборочно. Часть предупреждений там носит рекомендательный характер и годами висит без последствий. Фатальные и критичные — обязательны к разбору сразу, остальные — по остаточному принципу.

Смежный материал по теме — «Как проверить сайт перед покупкой».

Как читать отчёт краулера

Краулер обходит сайт так же, как робот, и выдаёт таблицу на все найденные адреса. Первая реакция на четыре тысячи строк — закрыть и забыть. Чтобы этого не произошло, отчёт читают не подряд, а срезами, в фиксированном порядке.

1. Коды ответов. Отфильтруйте всё, что не 200. Смотрите 404 с внутренними ссылками — это ваши битые ссылки; 5xx — проблемы сервера, самое срочное; цепочки редиректов длиннее одного шага.
2. Запреты индексации. Срез по метатегу noindex и по каноническим адресам. Ищите страницы, которые должны быть в поиске, но помечены запретом или указывают каноническим адресом на другую страницу.
3. Дубли по title. Сортировка по заголовку окна: одинаковые title группами почти всегда означают дубли страниц или незакрытые фильтры.
4. Пустые и слишком длинные title и h1. Пустые — прямая потеря, длинные — обрезаются в выдаче.
5. Глубина вложенности. Страницы, до которых от главной больше трёх-четырёх переходов, обходятся реже. Если там товары или услуги, это структурная проблема.
6. Страницы без входящих внутренних ссылок. Сироты не получают веса и часто не попадают в индекс вовсе.

Помогу с продвижением: частный SEO-специалист — вывожу сайты в топ Яндекса белыми методами.

Каждый срез даёт понятный список задач. Остальные колонки отчёта — размер страницы, число слов, вес изображений — полезны, но их разбирают после того, как первые шесть срезов закрыты.

Важная поправка: краулер видит сайт из своей точки и своим агентом. Если сайт отдаёт разное содержимое роботу поиска и стороннему обходчику — из-за защиты от нагрузки, географии или кеша, — отчёт будет неточным. Спорные адреса всегда перепроверяйте через инструмент проверки ответа сервера в Вебмастере: там ответ дан для робота поиска.

Про выделенный IP и его влияние на продвижение:

2:14

Инструменты: чем что проверять

Задача	Чем проверять	Чего инструмент не покажет
Индексация и причины исключения	Яндекс.Вебмастер	Состояние в других поисковиках
Обход всего сайта, коды, дубли, структура	Настольный или облачный краулер	Как страницу видит именно робот поиска
Код ответа и заголовки одного адреса	Проверка ответа сервера в Вебмастере	Картину по сайту целиком
Скорость загрузки	Сервисы измерения плюс отчёт по времени загрузки в Метрике	Реальное поведение ваших посетителей без Метрики
Поведение людей на страницах	Яндекс.Метрика: отказы, глубина, вебвизор	Причины технических сбоев
Микроразметка	Валидатор структурированных данных	Появление расширенного сниппета в выдаче
Вёрстка и валидность	Валидатор HTML	Влияние на позиции — его почти нет
Спрос и формулировки запросов	Вордстат, Rush Analytics, Topvisor	Технические проблемы сайта

Отдельно про сервисы «проверить сайт бесплатно за 30 секунд». Они выдают набор общих замечаний по шаблону и оценку в баллах, которая ничего не значит. Пользы от них ровно столько, сколько от списка проверенных пунктов; принимать их вердикт за аудит нельзя, потому что приоритеты там расставлены не по цене ошибки, а по тому, что легко автоматизировать.

Проверка индексации и доступности

Проверка идёт от общего к частному. Сначала — сколько страниц сайта в поиске и как это число менялось за последние месяцы. Резкое падение означает технический сбой или массовое исключение, резкий рост — чаще всего попадание в индекс мусорных адресов.

Если нужны детали, смотрите «Продвижение сайта в Яндекс — основные ошибки».

Затем сверяются три числа: сколько страниц на сайте фактически, сколько в карте сайта, сколько в поиске. Расхождения читаются просто. В карте больше, чем на сайте, — карта устарела и содержит удалённые адреса. На сайте больше, чем в карте, — часть страниц робот найдёт только по ссылкам. В поиске сильно меньше, чем в карте, — смотрите отчёт по исключённым и причины.

Дальше — точечная проверка ключевых страниц. Возьмите десять самых важных адресов: главную, основные разделы, топовые товары или услуги. По каждому проверьте четыре вещи: код ответа 200, отсутствие запрета в robots.txt и в метатеге, канонический адрес, указывающий на себя, наличие хотя бы одной внутренней ссылки. Эта короткая проверка находит больше проблем, чем полный обход сайта, потому что сосредоточена там, где ошибка стоит дороже всего.

Скорость и мобильная версия: что считать проблемой

Оценка в баллах от сервиса измерения — не цель. Цель — время до появления основного содержимого на реальных устройствах ваших посетителей. Поэтому смотреть нужно не только синтетический тест, но и отчёт по времени загрузки в Метрике, где данные собраны с живых визитов и разбиты по устройствам и браузерам.

Проблемой считается ситуация, когда мобильные посетители грузят страницу заметно дольше, чем настольные, и на мобильных при этом выше доля отказов. Это связка, которая прямо стоит денег. Отдельно стоящая красная цифра в синтетическом тесте при нормальном поведении людей — повод для работы, но не первоочередной.

Мобильную версию проверяют руками и до конца. Открыть на телефоне, пройти путь клиента целиком: найти товар, положить в корзину, заполнить форму, отправить. Типовые находки — перекрытая клавиатурой кнопка отправки, всплывающее окно без крестика, горизонтальная прокрутка из-за широкой таблицы, поле телефона без цифровой клавиатуры. Ни один автоматический инструмент этого не покажет.

Как отличить настоящую ошибку от шума

Если нужна помощь по теме — исправление ошибок сайта.

Любой отчёт содержит строки, чинить которые не нужно. Отделять их помогают три вопроса: попадает ли адрес в поиск, есть ли на него внутренние ссылки, влияет ли проблема на то, что видит человек. Если на все три ответ отрицательный, строка остаётся в отчёте и не превращается в задачу.

Строка в отчёте	Когда это шум	Когда это настоящая проблема
Страницы 404	Никто не ссылается, адреса выдуманы обходчиком	Есть внутренние или внешние ссылки, был трафик
Дубли title	Технические и служебные страницы вне индекса	Коммерческие страницы, конкурирующие в выдаче
Ошибки валидатора	Незакрытый атрибут, не мешающий отображению	Ломается вёрстка или блок не открывается
Отсутствие alt	Иконки и декоративные элементы	Товарные фото, дающие трафик из поиска по картинкам
Медленная страница в тесте	Служебный раздел без посетителей	Посадочная с трафиком и высоким отказом
Предупреждение в диагностике	Рекомендательное, висит месяцами без последствий	Помечено как фатальное или критичное

Обратная ошибка тоже встречается: проблему объявляют шумом, потому что чинить её дорого. Здесь помогает единственный критерий — данные. Если после появления строки в отчёте показы по соответствующим страницам поехали вниз, это не шум, каким бы мелким пункт ни выглядел.

Подробнее об этом — в статье «Как проверить внешние ссылки на сайт».

Чеклист самопроверки и регламент

Разовый аудит устаревает за месяц: сайт живёт, контент добавляется, разработчики вносят правки. Поэтому проверки разумно разложить по частоте.

• Еженедельно: диагностика Вебмастера на предмет фатальных ошибок; число страниц в поиске; отчёт по времени загрузки в Метрике.
• Ежемесячно: полный обход краулером с разбором шести срезов; проверка десяти ключевых страниц вручную; сверка карты сайта с фактическим числом страниц.
• Ежеквартально: проверка зеркал и редиректов; ревизия robots.txt; проверка мобильного пути клиента до конца; сверка структуры с текущим спросом.
• После каждого релиза: код ответа главных страниц; отсутствие случайного запрета индексации; работоспособность форм; выборочная проверка вёрстки на мобильном.

Последний пункт важнее остальных. Большая часть внезапных исчезновений сайта из поиска — это перенесённый с тестового сервера запрет индексации, который никто не проверил после выкладки. Проверка занимает минуту и должна быть частью выпуска, а не отдельной задачей раз в квартал.

Полезно вести журнал: дата проверки, что нашли, что починили, когда. Через полгода журнал показывает повторяющиеся проблемы, а повторяющаяся проблема лечится не починкой, а изменением процесса на стороне разработки.

Частые вопросы

С чего начать, если сайт вообще не проверялся? С шести ручных проверок из второго раздела и с блока фатальных ошибок в Вебмастере. Это полчаса и почти всегда одна-две находки, которые стоят дороже всего остального аудита.

Обязательно ли платить за краулер? Для сайта на несколько сотен страниц бесплатных лимитов обычно хватает. Платная версия нужна на больших каталогах и при регулярных проверках. Но начинать стоит не с покупки инструмента, а с Вебмастера — он бесплатен и показывает то, чего краулер не покажет в принципе.

Насколько важна валидность HTML? На позиции она влияет слабо. Значение имеет не формальная валидность, а ошибки, из-за которых ломается отображение или содержимое не попадает в индекс. Ставить эту проверку выше индексации и дублей — типичная ошибка приоритизации.

Сайт пропал из поиска, куда смотреть в первую очередь? В таком порядке: код ответа главной страницы, robots.txt, метатег robots в исходном коде, отчёт об исключённых страницах в Вебмастере, отчёт о безопасности. В подавляющем большинстве случаев причина обнаруживается на первых трёх шагах.

Как понять, что найденная ошибка действительно влияет на трафик? Сопоставьте даты. Возьмите график показов по затронутым страницам и посмотрите, совпадает ли начало падения с моментом появления проблемы. Совпадение по датам — сильный аргумент, отсутствие совпадения — повод искать другую причину.

Стоит ли доверять оценке в баллах от сервисов проверки? Как ориентиру — нет. Балл складывается из десятков разнородных пунктов с произвольными весами, и сайт с закрытым от индексации каталогом может получить приличную оценку. Смотрите на конкретные пункты, а не на итоговую цифру.

Коротко

• Проверка идёт от дорогого к дешёвому: доступность, запреты индексации, зеркала, дубли, битые страницы и только потом метатеги, скорость и разметка.
• Шесть ручных проверок за пять минут закрывают верхние уровни приоритетов и не требуют платных сервисов.
• В Вебмастере самые полезные отчёты — исключённые страницы с причинами и статистика обхода; диагностику читают только по фатальным и критичным пунктам.
• Отчёт краулера разбирают шестью срезами: коды ответов, запреты, дубли title, пустые заголовки, глубина вложенности, страницы без входящих ссылок.
• Спорные адреса перепроверяют через проверку ответа сервера в Вебмастере: краулер видит сайт своим агентом, а не глазами робота поиска.
• Шум от настоящей проблемы отличают тремя вопросами: попадает ли адрес в поиск, ссылаются ли на него, видит ли это человек.
• Проверки раскладывают по частоте и обязательно включают короткий контроль после каждого релиза — оттуда берётся большинство внезапных выпадений из поиска.

Если отчёты уже собраны, но непонятно, за что хвататься и что из найденного действительно стоит трафика, приходите на SEO-консультацию: разберём выгрузки вместе, отделим шум от настоящих проблем и составим порядок работ с оценкой того, что даст результат быстрее всего.