Прямые заходы — нагуливание ботов

Всплеск прямых заходов в отчётах выглядит как подарок судьбы: вчера было двести визитов в сутки, сегодня тысяча, и почти все они пришли «напрямую» — без поисковика, без рекламы, без реферала. Радость держится ровно до того момента, когда вы открываете отчёт по конверсиям и видите там прежние две заявки. Дальше начинается неприятное: график по часам не проваливается ночью, средняя длительность визита застыла на одной и той же цифре, а в списке провайдеров сидят названия, которых у вас отродясь не было. Это не удача. Это боты, и разбираться с ними нужно спокойно и по шагам, а не блокировкой всего подряд.

Почему ботовый трафик оседает именно в прямых заходах

Метрика определяет источник визита по данным, которые приходят вместе с запросом: реферер (адрес страницы, с которой перешёл человек), UTM-метки в ссылке, служебные параметры поисковых систем. Когда ничего из этого нет, визит попадать больше некуда — он падает в «Прямые заходы». Это общая корзина для всего, что система не смогла классифицировать.

Автоматизированный запрос почти никогда не несёт реферер. Скрипт открывает адрес напрямую, потому что он его уже знает: взял из своей базы, из выдачи, из чужого списка URL. Ему незачем имитировать переход по ссылке — это лишняя работа. Поэтому весь этот поток по умолчанию помечается как прямой.

Отсюда важный вывод, который многие проскакивают: прямые заходы сами по себе не признак ботов. Там же лежат переходы из мессенджеров, писем в почтовых клиентах, PDF-файлов, набранные вручную адреса, переходы по закладкам, часть мобильных приложений. Нормальный сайт всегда имеет долю прямых заходов, и она может быть весомой. Тревожен не источник, а его поведение — резкий скачок объёма при нулевом изменении всего остального.

Что попадает в прямые заходы	Природа	Норма или сигнал
Адрес набран руками или взят из закладок	Живые люди, знающие бренд	Норма
Переход из мессенджера или почтового клиента	Реферер не передаётся приложением	Норма
Переход из PDF, документа, офлайн-материала	Технически нет источника	Норма
Переход с https на http (потеря реферера)	Особенность протокола	Норма, но стоит починить
Парсеры, чекеры, мониторинг	Автоматика без реферера	Фоновый шум
Массовые однотипные визиты с одинаковыми параметрами	Скриптовый трафик	Сигнал разбираться

Как выглядит аномалия в отчётах: ровный график по часам

Первое, что выдаёт машину, — отсутствие суточного ритма. Живая аудитория спит. У любого коммерческого сайта в России график по часам имеет узнаваемую форму: провал с двух до шести утра, подъём к девяти, плато днём, второй холмик вечером. Даже у ночных тематик провал есть, просто он мельче.

Ботовый поток такой формы не имеет. Скрипт крутится по расписанию и одинаково активен в четыре утра и в четыре дня. На графике это выглядит как прямая линия или как ступенька, включившаяся в конкретный час и выключившаяся ровно через сутки. Наложите отчёт по времени суток за аномальный день на такой же отчёт за спокойную неделю до всплеска — разница видна без всяких вычислений.

Второй вариант той же картины — визиты приходят пачками через равные интервалы. Например, всплеск ровно в начале каждого часа. Люди так себя не ведут никогда.

Одинаковая длительность визитов и одна и та же глубина

Живые визиты разбросаны: кто-то ушёл через пять секунд, кто-то читал восемь минут, кто-то открыл четыре страницы, кто-то одну. Средние значения складываются из широкого разброса.

Ботовая сессия задана параметрами скрипта. Отсюда классические артефакты: средняя длительность визита стала подозрительно круглой (ровно 30 секунд, ровно 2 минуты), глубина просмотра у большинства визитов одинаковая (ровно 3 страницы), отказы либо резко упали до нуля, либо резко выросли до 95–100%. Обе крайности одинаково неестественны.

Проверить это удобно не по средним, а по распределению. В Метрике постройте отчёт по времени на сайте с разбивкой по интервалам. Если в спокойный период кривая размазана, а в день всплеска почти всё сконцентрировалось в одном столбце — сомнений практически не остаётся.

Повторяющиеся провайдеры и подсети

Самый надёжный технический признак. В Метрике есть отчёт «Провайдеры» — по нему видно, через какие сети приходит трафик. У живой аудитории картина размазана: крупные операторы связи, домашние провайдеры, мобильные сети, десятки мелких названий.

Ботнет обычно арендует адреса у ограниченного круга хостингов и дата-центров. В отчёте это выглядит как несколько незнакомых названий, которые внезапно заняли верхние строчки и дают в сумме половину трафика. Часто это иностранные хостинг-провайдеры или облачные площадки — их названия легко проверить поиском, и там сразу видно, что это не оператор домашнего интернета.

Ещё точнее работают серверные логи: там видны конкретные IP-адреса. Если сотни адресов отличаются только последним октетом и укладываются в две-три подсети — перед вами не аудитория, а арендованный пул.

Тему разбирал отдельно: «Прямые заходы в метрике».

Странная география и устройства-клоны

География — быстрый и грубый фильтр. Сайт по ремонту квартир в Екатеринбурге не может внезапно получить треть трафика из Сингапура, Нидерландов или Бразилии. Точно так же подозрительна и обратная ситуация: слишком идеальная концентрация в одном городе, который вам нужен, при полном отсутствии соседних регионов. Реальная аудитория всегда даёт хвост из окрестных городов.

Отдельно смотрите на связку «устройство + браузер + разрешение экрана». Настоящие посетители дают широкий зоопарк: десятки моделей телефонов, разные версии браузеров, дробные разрешения. Скрипт использует один-два профиля. Признак — крупная доля визитов с абсолютно идентичным набором: одна версия браузера, одно разрешение, одна операционная система, одинаковый язык интерфейса. Особенно если разрешение нетипичное или язык интерфейса не совпадает с заявленной географией.

Нулевые заявки при росте трафика

Самый простой и самый честный индикатор. Если трафик вырос в пять раз, а количество звонков, писем и заявок с форм не изменилось вообще, значит новые визиты не принадлежат людям, которым что-то нужно.

Помогу с продвижением: продвижение сайта в Яндексе — вывожу сайты в топ Яндекса белыми методами.

Смотрите не на процент конверсии (он и так просядет арифметически), а на абсолютные числа целевых действий. Было 12 заявок в неделю до всплеска — стало 12 после. Значит, весь прирост не имеет коммерческой ценности. Дополнительно проверьте микроцели: клики по телефону, разворачивание карточек, скроллинг до конца страницы. Боты обычно не выполняют их вовсе либо выполняют слишком аккуратно — все сразу и у всех визитов.

Признак в отчёте	Что означает	Что делать
График по часам без ночного провала	Автоматика работает по расписанию	Сравнить с неделей до всплеска, зафиксировать час старта
Средняя длительность визита строго одинаковая	Параметр задан скриптом	Проверить распределение по интервалам, а не среднее
Глубина просмотра одинаковая у большинства визитов	Жёсткий сценарий обхода	Посмотреть последовательность страниц в отчёте
Два-три незнакомых провайдера дают половину визитов	Трафик идёт из дата-центров	Выгрузить IP из логов, определить подсети
География не совпадает с зоной работы	Прокси или зарубежный пул адресов	Сегментировать отчёты, исключить регион из анализа
Одинаковое разрешение экрана и версия браузера	Один профиль устройства на весь поток	Собрать связку признаков для фильтра
Роботность в Метрике резко выросла	Часть потока уже опознана системой	Разделить отчёты на «с роботами» и «без роботов»
Трафик вырос, заявки не изменились	Визиты не принадлежат покупателям	Оценивать эффект по абсолютным целям
Нагрузка на сервер выросла непропорционально	Много запросов к тяжёлым страницам	Ограничить частоту запросов, проверить логи

Где смотреть по шагам

Разбор аномалии стоит вести в одном и том же порядке — так вы не будете каждый раз изобретать метод заново и не потеряете важное.

1. Отчёт по источникам. Убедитесь, что всплеск пришёлся именно на прямые заходы, а не на переходы из соцсетей или рекламу. Отметьте точную дату и час начала.
2. Отчёт по времени суток. Постройте распределение визитов по часам за аномальный период и за спокойный. Ищете провал ночью — если его нет, это машина.
3. Отчёт по географии. Смотрите страны и города. Всё, что выпадает из вашей зоны работы, — кандидат на исключение.
4. Отчёт по провайдерам. Ищете названия хостингов и дата-центров в топе списка.
5. Отчёт по роботности. Метрика сама помечает часть трафика как роботов. Если доля подскочила — часть работы уже сделана за вас, но опознаётся далеко не всё.
6. Технологии и устройства. Проверяете разрешения, браузеры, операционные системы, язык интерфейса.
7. Вебвизор. Откройте десяток записей из подозрительного сегмента. Живой человек двигает мышью хаотично, останавливается, скроллит рывками. Скрипт либо не двигает курсор вообще, либо ведёт его по идеально прямой линии.
8. Логи сервера. Финальная инстанция. Здесь видны IP, User-Agent, частота запросов, точное время. Аналитика может врать или чего-то не видеть, лог не врёт никогда.

Практический совет: сразу создайте в Метрике сегмент по найденным признакам (например, провайдер + география + длительность). Дальше вы сможете переключать любой отчёт между «весь трафик» и «без подозрительного сегмента» одним кликом.

Чем ботовый трафик реально вредит

Вред неоднородный, и его полезно разложить по полочкам — иначе легко либо недооценить проблему, либо впасть в панику из-за пустяка.

• Искажение статистики. Средние значения перестают что-либо значить. Конверсия падает, показатель отказов уезжает, время на сайте становится фикцией.
• Потеря управляемости. Вы не можете сравнить, что работает лучше, потому что шум перекрывает сигнал. A/B-тесты становятся бессмысленными, оценка новых страниц — тоже.
• Поведенческие факторы. Массовые визиты с неестественным поведением теоретически могут ухудшить представление поисковой системы о качестве сайта. На практике антифрод-системы отсеивают большую часть такого трафика, но полагаться на это как на гарантию нельзя.
• Нагрузка на сервер. Самый материальный ущерб. Тысячи запросов в час к тяжёлым страницам с фильтрами и поиском кладут хостинг или заставляют переплачивать за тариф. Сайт начинает медленно отвечать живым людям — а вот это уже точно бьёт по позициям.
• Расход рекламного бюджета. Если боты каким-то образом добираются до платных каналов, деньги утекают напрямую. В прямых заходах этой проблемы нет, но проверить смежные источники стоит.

Три разные природы такого трафика

Прежде чем что-то блокировать, определите, с чем именно вы имеете дело. Ошибка в диагнозе ведёт к лишним действиям и лишним рискам.

Первая природа — техническая автоматика. Парсеры цен, сервисы мониторинга доступности, SEO-краулеры, агрегаторы, чекеры ссылок, скриншотеры. Они ходят по сайту постоянно и обычно безобидны. Дают предсказуемую нагрузку, часто честно представляются в User-Agent, ходят по одним и тем же адресам. Раздражают, но опасности не несут.

Вторая природа — накрутка поведенческих факторов. Кто-то целенаправленно гоняет визиты по вашим страницам, имитируя человеческое поведение: заход, скролл, переход по внутренней ссылке, время на странице. Мотивы бывают разные — от неудачного эксперимента подрядчика до попытки навредить. Это самый неприятный случай, потому что отделить такой трафик от живого сложнее всего.

Третья природа — атака. Массированный поток запросов, цель которого — положить сайт или выжрать ресурсы хостинга. Отличается объёмом и агрессивностью: не десятки визитов в час, а тысячи; не главная страница, а тяжёлые запросы к поиску и фильтрам. Здесь аналитика вообще может не успевать фиксировать — счётчик просто не отрабатывает, зато логи растут на глазах.

Природа	Как выглядит	Опасность	Реакция
Парсеры и мониторинг	Ровный фон, честный User-Agent, одни и те же URL, часто игнорируют счётчик	Низкая, только нагрузка	Ограничить частоту, при желании закрыть в robots.txt
Накрутка поведения	Имитация людей: скролл, переходы, время; подозрительно ровные метрики; пик привязан к вашим ключевым страницам	Средняя, портит статистику и потенциально поведенческие	Сегментировать и отфильтровать в аналитике, наблюдать за позициями, блокировать подсети точечно
Атака на ресурс	Тысячи запросов в минуту, тяжёлые страницы, рост времени ответа, ошибки 5xx	Высокая, сайт может лечь	Блокировка на уровне сервера, лимиты запросов, обращение к хостингу и в поддержку

Как отличить их друг от друга

Опорных признаков всего четыре, и они работают вместе.

Смежный материал по теме — «Как выполняется нагуливание ботов для накрутки».

• Объём. Десятки визитов в сутки — фон. Сотни — накрутка или активный парсер. Тысячи и десятки тысяч — атака.
• Целевые страницы. Парсер обходит каталог целиком или дёргает одни и те же адреса. Накрутка бьёт по конкретным продвигаемым страницам. Атака лупит по всему подряд или по самым тяжёлым URL.
• Поведение внутри визита. Парсер зашёл и ушёл — одна страница, ноль секунд. Накрутка имитирует человека и даёт правдоподобные, но однотипные цифры. Атака вообще не запускает счётчик — в аналитике её может быть не видно.
• Реакция сервера. Если время ответа не изменилось, это не атака. Если растёт нагрузка и появляются ошибки — да.

Фильтры в аналитике: чистота отчётов

Первое действие всегда одно и то же — навести порядок в отчётах, а не в сервере. Пока вы не видите чистых цифр, любое решение по сайту принимается вслепую.

В Метрике для этого есть готовые инструменты: настройка «фильтровать роботов» в параметрах счётчика, встроенный отчёт по роботности, а главное — сегменты. Создайте сегмент с условиями, по которым вы опознали шум: провайдер, страна, длительность визита, разрешение экрана. Дальше стройте все рабочие отчёты с исключением этого сегмента.

Важный момент: фильтр в аналитике ничего не блокирует. Боты продолжают ходить, нагрузка остаётся, но вы хотя бы видите реальную картину по живой аудитории. Это диагностика, а не лечение.

Блокировка на уровне сервера

Когда природа установлена и трафик действительно вредит, включается вторая линия. Работать нужно на уровне веб-сервера — там запрос отсекается до того, как сайт начнёт его обрабатывать, и нагрузка не тратится.

Инструменты стандартные: запрет по подсети в конфигурации сервера или в .htaccess, правила на стороне хостинга, встроенные средства защиты у провайдера. Блокировать имеет смысл именно подсети, а не отдельные адреса: пул из тысячи IP перебирается быстрее, чем вы успеете дописать список.

Отдельная ловушка, о которой стоит помнить: правила блокировки часто слетают при обновлении движка, переносе сайта или перезаписи конфигурационных файлов. Заведите привычку проверять их наличие после любых работ на хостинге — иначе через месяц вы обнаружите, что защита давно не работает, а вы об этом не знали.

Ограничение частоты запросов

Более мягкий и часто более разумный метод. Вместо полного запрета вы ограничиваете, сколько запросов один адрес может сделать за секунду или минуту. Живой человек физически не открывает двадцать страниц в секунду, а скрипт открывает.

Если нужна помощь по теме — обучение SEO-продвижению.

Такое ограничение настраивается на уровне nginx или через панель хостинга. Плюс подхода в том, что он не требует знать заранее, откуда придёт следующая волна: правило универсальное. Минус — при слишком жёстком лимите можно задеть поисковых роботов, которые в момент обхода тоже ходят быстро, и посетителей из-за общего NAT, когда сотня человек выходит в сеть с одного адреса.

Способ защиты	Что делает	Риск	Когда применять
Сегменты и фильтры в аналитике	Убирает шум из отчётов	Нулевой, нагрузка остаётся	Всегда, первым шагом
Настройка фильтрации роботов в счётчике	Отсекает известных роботов из статистики	Ловит не всё	Всегда, базовая гигиена
Блокировка подсетей на сервере	Отсекает запрос до обработки сайтом	Можно задеть живых людей и правило может слететь	При подтверждённой вредоносной активности
Ограничение частоты запросов	Гасит быстрые серии с одного адреса	Можно замедлить поисковых роботов и NAT-пользователей	Против парсеров и лёгких атак
Правила в robots.txt	Просит краулеры не ходить	Соблюдают только добросовестные	Против честных SEO-краулеров
Защита на стороне хостинга или CDN	Фильтрует поток до вашего сервера	Стоит денег, требует настройки	При регулярных или крупных атаках
Обращение в поддержку поисковой системы	Фиксирует факт накрутки со стороны	Ответ не мгновенный, нужны доказательства	При подтверждённой накрутке ваших страниц

Почему нельзя блокировать вслепую

Соблазн понятен: увидел странную подсеть — закрыл. Но за широким запретом почти всегда прячутся потери, которые вы заметите не сразу.

• Живые люди за общим адресом. Корпоративные сети, мобильные операторы, крупные провайдеры выпускают тысячи абонентов через один IP. Заблокировали адрес — отрезали офис потенциального заказчика.
• Поисковые роботы. Самая дорогая ошибка. Если под блокировку попадёт робот поисковой системы, сайт перестанет переобходиться, страницы начнут выпадать из индекса, а причину вы будете искать месяцами. Роботы ходят из известных подсетей — сверяйтесь со списками, которые публикуют сами поисковики.
• Полезные сервисы. Мониторинг доступности, платёжные системы, службы доставки, виджеты, сервисы обратного звонка — они тоже обращаются к сайту автоматически.
• VPN и прокси. Часть живой аудитории заходит через них по своим причинам. Не всякий нетипичный адрес — бот.

Правило простое: блокировать можно то, что вы проверили по логам и понимаете. Не понимаете, кто это, — сначала наблюдайте и фильтруйте в отчётах.

Если нужны детали, смотрите «Нулевые заходы на сайт в Яндекс Метрике».

Как проверить, что блокировка сработала и не задела нужное

Внедрённое правило без проверки — не защита, а самообман. Проверка занимает пятнадцать минут и делается в четыре приёма.

1. Логи сервера. Через час после включения посмотрите, есть ли ещё записи с заблокированных адресов и какой код ответа они получают. Если запросы идут, но отдаётся 403 — правило работает.
2. График в аналитике. Проверьте, спал ли объём прямых заходов до прежних значений. Если нет — либо трафик идёт из других подсетей, либо правило не применилось.
3. Доступность для поисковых роботов. Откройте панель вебмастера и посмотрите статистику обхода. Ошибки доступа и падение числа загруженных страниц — тревожный сигнал, правило нужно пересмотреть немедленно.
4. Живая аудитория и заявки. Сравните число целевых действий за неделю до и после. Если заявок стало меньше, вы отрезали кого-то нужного.

Хорошая практика — включать блокировку не в пятницу вечером, а в начале рабочего дня, когда есть возможность посмотреть на результат и быстро откатить.

Шаг	Что делаем	Где смотрим	Результат
1	Фиксируем факт и точное время всплеска	Отчёт по источникам	Известны дата, час, объём
2	Проверяем суточный ритм	Отчёт по времени суток	Понятно, машина это или люди
3	Смотрим географию, провайдеров, устройства	Отчёты Метрики	Собран набор признаков
4	Оцениваем ущерб по заявкам и нагрузке	Цели, панель хостинга	Ясно, срочно это или нет
5	Определяем природу трафика	Логи сервера, вебвизор	Парсер, накрутка или атака
6	Создаём сегмент и чистим отчёты	Метрика	Видна реальная картина
7	При необходимости ставим блокировку или лимит	Конфигурация сервера	Нагрузка снижена
8	Проверяем, что не задели нужное	Логи, вебмастер, цели	Защита работает без потерь
9	Записываем случай в журнал	Свой файл наблюдений	В следующий раз разбор быстрее

Почему не надо паниковать

Всплеск бот-трафика выглядит страшно, но в большинстве случаев материальный ущерб оказывается близким к нулю. Поисковые системы давно живут в мире, где кто угодно может нагнать на чужой сайт сколько угодно визитов, и научились отсеивать такой шум. Если бы это работало иначе, конкурентную борьбу вели бы исключительно ботами.

Оценивайте ущерб по двум вещам, а не по эмоциям. Первое — позиции. Снимите их до и после всплеска по своему ядру. Если движения нет или колебания в пределах обычного шума, значит поисковик на этот трафик не реагирует. Второе — заявки. Если абсолютное число обращений держится на прежнем уровне, бизнес не пострадал вообще.

Реальные потери начинаются там, где растёт нагрузка: сайт медленно отвечает, посетители не дожидаются загрузки, робот получает таймауты. Вот это чинить нужно быстро. Всё остальное — вопрос гигиены отчётов, а не аварийного реагирования.

Профилактика: как не пропустить следующий раз

Всплески повторяются. У кого-то раз в год, у кого-то ежемесячно. Дешевле построить простую рутину, чем каждый раз проводить полноценное расследование с нуля.

• Еженедельный взгляд на источники. Пять минут в отчёте по источникам за неделю. Вы просто держите в голове нормальную пропорцию каналов и замечаете отклонение сразу.
• Мониторинг нагрузки. Панель хостинга или внешний сервис доступности. Всплеск часто заметен по нагрузке раньше, чем по аналитике.
• Сохранённые сегменты. Один раз собранный сегмент «подозрительный трафик» переиспользуется годами — достаточно дополнять его новыми признаками.
• Журнал наблюдений. Обычный текстовый файл: дата, что заметил, какие признаки, что сделал, что помогло. Через три-четыре записи вы начнёте узнавать повторяющиеся сценарии с первого взгляда.
• Проверка правил после любых работ на сайте. Обновили движок, перенесли хостинг, перезалили конфигурацию — убедитесь, что блокировки на месте.
• Настроенные цели. Без корректно работающих целей вы не сможете отличить полезный трафик от бесполезного вообще ничем.

Частые вопросы

Прямые заходы выросли вдвое, но заявки тоже выросли. Это боты?
Скорее всего нет. Если целевые действия растут пропорционально трафику, вы получили живую аудиторию — например, после публикации в СМИ, рассылки или упоминания в мессенджерах. Проверьте на всякий случай суточный ритм и географию, но паниковать не о чем.

Метрика показывает высокую роботность. Это опасно?
Само по себе — нет, это диагностический показатель. Он означает, что система опознала часть трафика как автоматический и вы можете исключить его из отчётов. Опасен не показатель, а нагрузка на сервер и искажение данных, по которым вы принимаете решения.

Может ли бот-трафик уронить позиции сайта?
Прямого гарантированного механизма нет: антифрод-системы поисковиков отсекают большую часть накрутки. Косвенно навредить может замедление сайта из-за нагрузки — вот это уже реально влияет на оценку качества. Поэтому следите в первую очередь за временем ответа сервера.

Стоит ли сразу блокировать все зарубежные адреса?
Только если вы точно работаете исключительно на один регион и готовы потерять часть аудитории, заходящей через VPN. Более безопасный путь — начать с фильтров в отчётах и ограничения частоты запросов, а блокировать только конкретные подсети, которые вы нашли в логах.

Как понять, что блокировка задела поискового робота?
Откройте панель вебмастера и посмотрите статистику обхода: число загруженных страниц и коды ответа. Резкое падение обхода или появление ошибок доступа сразу после внедрения правила означает, что робот не может попасть на сайт. Правило нужно немедленно откатить и переписать точнее.

О границе между оптимизацией и нарушением:

5:21

Коротко

• Ботовый трафик оседает в прямых заходах потому, что автоматика не передаёт реферер, а не потому, что этот источник сам по себе плохой.
• Аномалию выдают ровный график по часам без ночного провала, одинаковая длительность и глубина визитов, незнакомые провайдеры, странная география, устройства-клоны и неизменное число заявок при росте трафика.
• Разбирайте по порядку: источники, время суток, география, провайдеры, роботность, вебвизор, логи сервера. Логи — последняя и самая честная инстанция.
• Сначала определите природу: безобидный парсер, накрутка поведения или атака. Реакция на каждую из трёх разная, и блокировка нужна далеко не всегда.
• Не блокируйте вслепую: можно отрезать живых людей за общим адресом и поисковых роботов. После любого правила обязательно проверьте обход в вебмастере и число заявок.

Разобрать, кто ходит на ваш сайт и вредит ли это, помогу на SEO-консультации.