В логах сайтов после апдейта видно то, чего не показывает ни одна панель вебмастера: куда именно робот тратит визиты, какие разделы он перестал обходить, где сервер отвечает медленнее обещанного и почему свежие страницы попадают в индекс через месяц, а не через сутки. Панель даёт сводку и усреднение, лог — построчную запись каждого обращения с точностью до секунды и адреса. Разница примерно как между отчётом о продажах и кассовой лентой.
Ниже — как получить логи без участия программиста, какие пять срезов из них строить, какие закономерности проявляются после обновлений выдачи, чего в логах принципиально не видно и какой план действий вытекает из разбора.
Зачем логи, если есть панель вебмастера
Панель показывает обход в агрегированном виде: сколько страниц обошёл робот за сутки, среднее время ответа, распределение по кодам. Этого достаточно, чтобы заметить аварию, и недостаточно, чтобы понять её причину.
Лог отвечает на вопросы другого уровня. Какие конкретно адреса обошёл робот вчера. Сколько раз он заходил на страницу, которую вы обновили. Через сколько дней он дошёл до новой публикации. На каких адресах ответ сервера дольше двух секунд. Какая доля визитов уходит на служебные и параметрические адреса, которые вы считали закрытыми.
Есть и второй смысл: панель показывает данные с задержкой в один-три дня и в сглаженном виде, лог доступен сразу. Когда сайт качает, разница в трое суток между событием и его отображением решает многое.
И третий: панели разных поисков показывают только своих роботов. В логе видны все сразу, включая сервисы аналитики, парсеры конкурентов и ботов, которые создают нагрузку и не приносят ничего.
Как получить логи и что с ними сделать
Программист для этого не нужен, хотя доступ к панели хостинга понадобится.
- Найти файлы. В панели управления хостингом есть раздел журналов или логов. Обычно там лежат файлы вида access.log с датами, часто в сжатом виде. Если раздела нет — написать в поддержку хостинга, они включают хранение по запросу.
- Проверить срок хранения. По умолчанию часто хранится неделя или месяц. Первое, что стоит сделать до всякого разбора, — попросить увеличить срок хотя бы до трёх месяцев, иначе в момент, когда логи понадобятся, их не будет.
- Скачать период. Для разбора после обновления берите две недели до события и две после. Меньший период не даёт сравнения.
- Отделить роботов от людей. В каждой строке есть поле с названием агента. Роботы поисковых систем представляются явно; строки с их названиями и есть предмет разбора.
- Проверить подлинность. Представиться поисковым роботом может кто угодно. Настоящий робот подтверждается обратной проверкой адреса, с которого пришёл запрос. Панели вебмастера дают инструмент такой проверки, и его стоит применить хотя бы выборочно.
- Свести в таблицу. Для файла на несколько сотен тысяч строк подойдёт любой анализатор логов или обычная электронная таблица, если предварительно отфильтровать только строки роботов.
Итог подготовки — таблица, где по каждой строке есть дата и время, адрес, код ответа, размер, время генерации и название робота. Дальше начинается собственно разбор.
Пять срезов, которые надо построить
| Срез | Что показывает | Тревожный признак |
|---|---|---|
| Обращения по дням | Общий объём обхода и его динамику | Падение вдвое или скачок в пять раз |
| Обращения по разделам | Куда робот тратит визиты | Больше половины уходит на служебные адреса |
| Коды ответов | Долю ошибок и переадресаций | Рост доли 5xx, цепочки переадресаций |
| Время ответа по адресам | Где сервер тормозит на самом деле | Ключевые страницы дольше 1,5 секунды |
| Задержка до первого визита | Скорость доставки новых страниц | Новая страница ждёт робота дольше недели |
Первый срез строится за пять минут и часто закрывает вопрос сразу. Остальные требуют группировки по маске адреса, но это разовая настройка, и потом разбор занимает полчаса в месяц.
Что видно после обновлений: обход перераспределяется
Главная закономерность, которая проявляется в логах после крупных изменений в выдаче: общий объём обхода меняется не так сильно, как его распределение.
Типичная картина. Суммарное число обращений робота осталось примерно прежним. При этом визиты на карточки товаров и на глубокие страницы каталога стали реже, а на разделы верхнего уровня и на главную — чаще. Или наоборот: робот начал активно ходить по страницам, которые до этого не трогал месяцами.
Если нужны детали, смотрите «Фавикон поднимает кликабельность в выдаче, а у половины сайтов его просто нет».
Читается это так: поиск пересматривает представление о том, какие части сайта заслуживают внимания. Разделы, которые он начал обходить чаще, — те, что он считает основными. Если это не совпадает с вашим представлением о структуре, у вас расхождение, и оно скоро отразится в позициях.
Второе наблюдение: после обновлений заметно меняется поведение на страницах, которые давно не обновлялись. Робот заходит, получает тот же документ и постепенно снижает частоту. Дальше возникает замкнутый круг: страница обходится реже — правки проявляются дольше — страница выглядит менее свежей.
Помогу с продвижением: продвижение сайта в Яндексе — вывожу сайты в топ Яндекса белыми методами.
Практический вывод: если вы правите страницу, которую робот посещает раз в месяц, ждать результата придётся месяц. Разорвать круг можно двумя способами: внутренними ссылками с часто посещаемых разделов и регулярным обновлением содержания, а не только точечной отправкой на переобход.
Куда уходит квота: мусорные адреса
Самое частое открытие при первом разборе логов — значительная доля визитов робота приходится на адреса, о существовании которых владелец не знал.
Что обычно обнаруживается:
- Параметры фильтров и сортировок. Один товарный раздел порождает сотни адресов с разными сочетаниями параметров. Робот ходит по ним честно и тратит на это визиты.
- Метки из рекламных ссылок. Адреса с идентификаторами кампаний попадают в индекс и обходятся как отдельные страницы.
- Постраничная навигация без ограничений. Списки, где робот доходит до сотой страницы, на которой уже нет ничего полезного.
- Служебные разделы. Личные кабинеты, корзины, страницы поиска по сайту, версии для печати.
- Старые адреса после переезда. Робот годами возвращается на страницы, которых нет, если переадресации настроены цепочками или отсутствуют.
- Дубли из-за вариантов написания. Со слешем и без, с приставкой и без, с заглавными буквами.
Важно понимать механику: внимание робота — ограниченный ресурс. Он распределяется исходя из представления о размере и качестве сайта. Каждый визит на мусорный адрес — это визит, не сделанный на карточку товара, которая ждёт индексации.
Отдельно проверьте, действительно ли работают ваши запреты. Регулярная картина: в файле с правилами обхода запрет прописан, а в логе видно, что робот всё равно ходит по этим адресам — потому что на них ведут внутренние ссылки, или потому что правило написано с ошибкой в маске.
Скорость ответа и коды: что решает частоту визитов
Время генерации страницы в логе — самый честный показатель из существующих. Это не лабораторный тест и не среднее по больнице, а фактическое время, за которое сервер отдал документ конкретному роботу в конкретную минуту.
На что смотреть:
Подробнее об этом — в статье «Показывать цены на сайте или прятать — и как это меняет число заявок».
Разброс по времени суток. Если вечером время ответа втрое выше утреннего, у вас проблема с ресурсами хостинга, и робот это видит. При устойчиво медленном ответе частота обхода снижается — поиск не хочет нагружать сервер.
Разброс по типам страниц. Часто выясняется, что главная отдаётся за двести миллисекунд, а страницы фильтров — за четыре секунды, потому что каждый фильтр — это тяжёлый запрос к базе. Именно на них и уходит основная часть времени робота.
Доля ответов с кодами ошибок. Разовые сбои нормальны. Устойчивая доля ответов 5xx выше пары процентов — прямая причина снижения обхода.
Цепочки переадресаций. В логе они видны как последовательность обращений: робот пришёл на адрес, получил 301, пошёл на следующий, снова 301. Каждое звено — потраченный визит. Цепочки надо схлопывать в одну переадресацию.
Коды 304. Ответ «не изменилось» экономит и трафик, и время. Если сервер их не отдаёт, робот каждый раз скачивает документ заново. Настройка технически несложная и заметно освобождает квоту на больших сайтах.
Чего в логах не видно
Отдельно стоит сказать, каких выводов из логов делать нельзя — иначе разбор превращается в поиск смысла там, где его нет.
- Позиций и ранжирования. Лог не содержит ни слова о том, на каком месте вы стоите. Частый обход не означает высоких позиций, редкий — не означает санкций.
- Оценки качества страницы. Робот скачал документ — это всё, что записано. Что он о нём подумал, в логе не отражается.
- Поведения людей. Отказы, возвраты в выдачу, глубина просмотра — это данные аналитики, а не сервера.
- Причин исключения из индекса. Робот может ходить на страницу ежедневно, а страница будет исключена как малоценная. Это видно только в панели вебмастера.
- Того, что робот увидел после выполнения скриптов. Лог фиксирует отданный сервером документ, а не отрисованный. Для сайтов, где контент подгружается, нужна проверка адреса в панели.
Правильная позиция: лог отвечает на вопрос «как поиск взаимодействует с сервером», панель вебмастера — на вопрос «что поиск думает о содержимом». Оба источника нужны, и подменять один другим нельзя.
План действий по результатам разбора
| Что нашли | Что делать | Через сколько виден эффект |
|---|---|---|
| Больше трети визитов на параметрические адреса | Закрыть параметры, свести каноническими адресами, убрать внутренние ссылки на них | 2–4 недели |
| Цепочки переадресаций | Схлопнуть в одну, обновить внутренние ссылки на конечные адреса | 2–3 недели |
| Время ответа растёт вечером | Кэширование, тариф хостинга, разгрузка тяжёлых запросов | 1–2 недели |
| Новые страницы ждут робота дольше недели | Ссылки с часто обходимых разделов, регулярные публикации, актуальная карта сайта | 3–6 недель |
| Робот ходит по запрещённым адресам | Проверить маски правил и внутренние ссылки, ведущие на эти адреса | 1–3 недели |
| Обход сместился на второстепенные разделы | Пересмотреть внутренние ссылки и вложенность, усилить ключевые разделы | 1–2 месяца |
| Высокая доля ответов с ошибками | Разобрать по адресам, чинить причину, а не симптом | 1–2 недели |
Порядок работы: начинать с того, что освобождает больше всего визитов, то есть обычно с мусорных адресов и цепочек переадресаций. Скорость и внутренние ссылки — следующим слоем.
Как сравнивать два периода правильно
Разбор логов почти всегда сводится к сравнению «до» и «после»: до переезда и после, до обновления выдачи и после, до правок и после. Здесь легко получить ложный результат, поэтому несколько правил.
Тему разбирал отдельно: «Контент нового типа для сайтов. Не длина, а плотность смысла (Information Gain)».
Периоды должны быть равной длины и одинаковыми по составу дней. Две недели против двух недель, а не десять дней против семнадцати. И желательно с одинаковым числом выходных: обход в выходные у многих сайтов заметно отличается.
Сравнивать надо доли, а не абсолютные числа. Если общий объём обхода вырос на треть, рост визитов в разделе на четверть означает не рост, а падение доли. Именно доля показывает, куда сместилось внимание.
Исключать дни аварий. Один день, когда сервер лежал два часа, искажает средние по всему периоду. Такие дни надо находить по всплеску кодов ошибок и убирать из расчёта, отметив отдельно.
Держать рядом календарь собственных изменений. Половина «загадочных» смещений обхода объясняется тем, что две недели назад поменяли шаблон, добавили раздел или переписали правила обхода. Без журнала изменений это выясняется методом воспоминаний.
Проверять гипотезу на одном разделе. Прежде чем менять что-то по всему сайту, примените изменение к одному разделу и посмотрите через три недели, как изменился обход именно там. Логи для такой проверки подходят лучше любого другого источника, потому что дают результат раньше, чем позиции.
Частые вопросы
Нужны ли логи небольшому сайту на сто страниц?
Регулярный разбор — нет, там квота обхода не является узким местом. Разовая проверка полезна: она быстро показывает цепочки переадресаций, ошибки сервера и мусорные адреса, которых даже на маленьком сайте бывает больше, чем полезных.
Как часто смотреть логи?
Раз в месяц по пяти срезам — достаточно для большинства сайтов. Дополнительно — после любого крупного изменения: переезда, смены шаблона, обновления платформы, а также при просадке позиций.
Что делать, если хостинг не даёт доступа к логам?
Написать в поддержку и попросить включить. Если отказывают — это само по себе повод задуматься о смене хостинга: без логов вы лишены основного инструмента технической диагностики.
Можно ли по логам понять, что сайт под санкциями?
Напрямую нет. Косвенный признак — резкое и устойчивое падение обхода при неизменной технической картине: сервер отвечает быстро, ошибок нет, а робот приходить перестал. Это повод проверить панель вебмастера и содержание страниц.
Стоит ли блокировать ботов, которые не приносят пользы?
Стоит, если они создают заметную нагрузку. Но блокировать надо аккуратно и по проверенным признакам: под видом парсера легко отсечь настоящий поисковый робот, и последствия будут тяжелее, чем нагрузка.
Помогает ли отправка страниц на переобход вместо работы с логами?
Помогает разово и точечно. Системную проблему она не решает: если робот не доходит до раздела, потому что квота уходит на мусор, ручная отправка десяти адресов ничего не изменит.
Коротко
- Панель вебмастера показывает сводку, лог — построчную запись каждого обращения: адрес, код, время ответа, дату и робота.
- После обновлений выдачи меняется не столько объём обхода, сколько его распределение по разделам — это ранний сигнал о том, что поиск пересмотрел структуру сайта.
- Значительная доля визитов обычно уходит на параметрические, служебные и старые адреса; каждый такой визит не сделан на нужную страницу.
- Время генерации в логе — самый честный показатель скорости: смотреть надо разброс по времени суток и по типам страниц, а не среднее.
- В логах не видно позиций, качества страниц и поведения людей; подменять ими панель вебмастера и аналитику нельзя.
- Разбор начинается с освобождения квоты — мусорные адреса и цепочки переадресаций, — и только потом переходит к скорости и внутренним ссылкам.
Разобрать логи вашего сайта и понять, куда уходит внимание робота, помогу на SEO-консультации.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Остались вопросы по продвижению?
Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе и Google.
Связаться со мной →Комментарии
Зоя Мещерякова
Первый же разбор логов показал, что почти половина визитов робота уходит на адреса с параметрами фильтров. В панели вебмастера этого видно не было вообще, там просто цифра обхода. Закрыли параметры — новые товары начали появляться в выдаче за пару дней вместо трёх недель.
Анатолий Кузнецов автор
Это самый частый и самый быстрый выигрыш от разбора логов. Чтобы результат не откатился, проверьте ещё три вещи. Первая: остались ли на сайте внутренние ссылки, ведущие на параметрические адреса — если фильтры формируют обычные ссылки, робот продолжит по ним ходить независимо от запретов, и правильное решение здесь либо отдавать их скриптом без ссылки, либо помечать соответствующим атрибутом. Вторая: попали ли эти адреса в индекс раньше; если да, снимать их надо не запретом обхода, а канонической ссылкой или кодом 404, иначе робот перестанет заходить, а страницы останутся в индексе навсегда. Третья: проверьте карту сайта, в неё параметрические адреса попадают удивительно часто. И через месяц повторите разбор — вы увидите, куда перераспределились освобождённые визиты, и это покажет, что поиск считает у вас главным.
Настасья Княжнина
Про срок хранения логов — важнейший практический совет. У нас хранилось семь дней. Когда понадобилось разбираться с просадкой месячной давности, смотреть было нечего. Попросили поддержку увеличить до трёх месяцев, сделали за час бесплатно.
Аглаида Оболонская
Не соглашусь, что логи нужны. Всё то же самое видно в панели вебмастера: и обход, и коды ответов, и время загрузки. Зачем возиться с гигабайтами текстовых файлов, если готовые графики уже построены?
Анатолий Кузнецов автор
Для большинства задач вы правы, и я нигде не призываю разбирать логи еженедельно. Разница проявляется в трёх ситуациях, и в них панель бессильна. Первая: вам нужен конкретный адрес, а не сводка. Панель скажет, что доля ошибок выросла до трёх процентов, но не покажет, что все они приходятся на один раздел с фильтрами. Вторая: вам нужно распределение визитов по разделам. Этого среза в панелях нет вовсе, а именно он показывает, что поиск считает главным на вашем сайте. Третья: срочность. Панель отдаёт данные с задержкой в один-три дня, лог доступен через минуту после события — когда сайт лежал ночью два часа, это принципиально. Плюс в логе видны все роботы сразу, включая парсеры и ботов, создающих нагрузку. Так что мой совет умереннее, чем кажется: пользуйтесь панелью постоянно, а логи открывайте после переездов, при просадках и раз в квартал для профилактики.
Ювеналий Ярославцев
Обнаружили цепочки из трёх переадресаций подряд — наследство двух переездов за пять лет. Робот тратил три обращения там, где хватило бы одного. Схлопнули в прямые, обход по нужным разделам вырос заметно за две недели.
Пелагея Бутурлина
Вопрос про подлинность роботов. У нас в логах много обращений от агентов с названиями поисковиков, но нагрузка подозрительная. Как массово проверить, настоящие они или кто-то представляется чужим именем?
Анатолий Кузнецов автор
Проверка называется обратной, и делается она в два шага для каждого сетевого адреса. Сначала по адресу запрашивается его доменное имя, затем по этому имени запрашивается адрес обратно — совпало, значит робот настоящий. Вручную это делать не надо: соберите из лога список уникальных адресов, представляющихся поисковыми роботами, их обычно несколько десятков, и прогоните разово. Дальше действуйте так. Настоящие адреса добавьте в белый список. Поддельные посмотрите отдельно: если они создают заметную нагрузку и не приносят пользы, их можно ограничить по частоте обращений на уровне сервера, а не блокировать наглухо — блокировка чревата тем, что под неё случайно попадёт нужный робот. И обратите внимание на объём: сама по себе высокая нагрузка от парсеров конкурентов не вредит ранжированию, она вредит скорости ответа, а вот скорость уже влияет на частоту обхода. То есть решать надо именно задачу нагрузки, а не задачу «выгнать чужих».
Таисия Сытина
Срез по времени ответа в разрезе часов суток оказался откровением. С девяти вечера время генерации росло вчетверо. Оказалось, в это время запускалась выгрузка каталога поставщику и клала базу. Перенесли на ночь — обход стабилизировался.
Устина Гончарова
Про замкнутый круг с редко обходимыми страницами — узнала свою ситуацию. Правили раздел, ждали месяц, ничего не менялось, правили снова. Робот заходил туда раз в пять недель. Поставили ссылки с главной и из свежих публикаций, обход участился, правки начали проявляться за неделю.
Юния Криворучко
Уточните про коды 304. Наш хостинг говорит, что это настраивается на уровне приложения, а не сервера, и разработчик оценил работу в приличную сумму. Настолько ли это важно для сайта на три тысячи страниц?
Анатолий Кузнецов автор
Для трёх тысяч страниц это приятная оптимизация, но не первоочередная задача, и платить за неё отдельно я бы не спешил. Выигрыш от кода «не изменилось» становится существенным на сайтах в десятки и сотни тысяч адресов, где робот физически не успевает обойти всё. У вас узкое место почти наверняка в другом месте. Сделайте сначала три бесплатные вещи и посмотрите на результат. Первая: разберите, какая доля визитов уходит на служебные и параметрические адреса — обычно там прячется от четверти до половины квоты, и освободить её ничего не стоит. Вторая: схлопните цепочки переадресаций и обновите внутренние ссылки на конечные адреса. Третья: проверьте время генерации по типам страниц и займитесь самыми медленными; ускорение отдачи даёт тот же эффект, что и экономия на повторных скачиваниях, но заодно улучшает поведение живых посетителей. Если после этих трёх шагов обход всё ещё не покрывает сайт за разумный срок, тогда возвращайтесь к коду 304 — к этому моменту вы будете точно знать, окупится он или нет.
Агния Новикова
Самое неожиданное: в логах видно, что робот регулярно ходит по адресам, которые мы закрыли в правилах обхода полтора года назад. Оказалось, маска написана с ошибкой, и запрет не работал ни дня. В панели вебмастера при этом всё выглядело нормально.
Милица Дельвиг
Про перераспределение обхода после обновлений — наблюдали ровно это. Робот резко переключился с карточек на разделы верхнего уровня. Через месяц просели именно карточки. Если бы понимали сигнал сразу, было бы время подготовиться.
Ростислав Кологривов
Добавлю практическое: для разбора не нужны сложные инструменты. Отфильтровал строки роботов обычной командой, загрузил в таблицу, построил сводную по разделам. Полчаса работы, и картина понятнее, чем из любого отчёта.
Гелена Трубецкая
Ценно, что в статье отдельно сказано, чего в логах не видно. У нас был период, когда из частого обхода делали вывод, что всё хорошо, а страницы при этом висели в статусе малоценных и в выдаче не участвовали.
Анатолий Кузнецов автор
Вы описали самую опасную ловушку разбора логов, и хорошо, что осознали её на своём опыте. Частота обхода говорит о том, как поиск взаимодействует с вашим сервером, и ничего не говорит о том, что он думает о содержимом. Заведите привычку смотреть эти два источника рядом. Из логов берите распределение визитов по разделам и время ответа. Из панели вебмастера — статусы страниц: сколько в поиске, сколько исключено и по каким причинам, отдельно следите за статусами вроде «просканирована, но не проиндексирована». Настоящий диагноз рождается на пересечении: робот ходит часто, а страницы не в индексе — значит вопрос к содержанию, а не к технике. Робот не ходит вовсе — тогда наоборот. И третий источник, без которого картина неполна: показы по этим страницам. Страница может быть в индексе и не получать ни одного показа, и это уже третий тип проблемы, который не виден ни в логах, ни в статусах.
Старт 
Стандарт 
Премиум 
Подтверждаю каждое слово, у самого похожая картина на трёх проектах.
Полезно, спасибо. Пошёл смотреть свои логи за последний месяц.
А какой софт используете для парсинга логов, вручную же нереально?
Прямо открыли глаза на то что происходит после обновлений.
Сохранил, буду показывать заказчикам почему логи важнее чем красивые отчёты.
Не у всех есть доступ к сырым логам на дешёвом хостинге, вот в чём беда.
Отличный материал, побольше бы такой аналитики в рунете.
Скажите, а через какой примерно срок после того как бот участил обходы страниц стоит ждать реального роста позиций в выдаче?
Евгений, обычно рост позиций идёт с лагом в две-четыре недели после того как бот участил обходы и переиндексировал изменения. Это не мгновенно, алгоритму нужно накопить данные, наберитесь терпения и продолжайте следить за логами.
Забрал идею анализировать логи хотя бы раз в неделю. Раньше вообще туда не смотрел.
Вот про рост числа обходов перед ростом позиций сам замечал, но не мог сформулировать.
Спасибо за цифры, а то все пишут абстрактно, а тут конкретные наблюдения по полусотне проектов.
Подскажите пожалуйста, стоит ли закрывать от индексации мусорные страницы фильтров если робот тратит на них половину визитов, не потеряю ли я трафик?
Светлана, если робот половину визитов тратит на бесполезные комбинации фильтров, их однозначно стоит закрыть, трафика вы не потеряете, а краулинговый бюджет перераспределится на важные страницы. Только закрывайте аккуратно, оставив полезные посадочные фильтры открытыми.
Мощно. Большинство сеошников даже не знают где логи лежат.
У меня после апдейта краулинговый бюджет реально просел, вижу по логам что бот стал реже заходить на глубокие страницы.
Анатолий, а какие именно параметры в логах сервера вы смотрите в первую очередь чтобы понять что робот стал вести себя иначе после апдейта?
Ирина, в первую очередь смотрю частоту обходов, коды ответов и распределение визитов робота по разделам. Если бот вдруг ушёл в мусорные страницы или снизил глубину обхода, это первый звонок что структуру надо чистить.
Наконец то кто то полез в логи, а не гадает по кофейной гуще. Уважаю такой подход.