Robots.txt, о котором молчат SEO-специалисты, умещается в полторы сотни строк текста и решает, увидит ли поиск ваш сайт целиком или половину. Большинство владельцев этот файл никогда не открывали: считается, что «там всё работает по умолчанию». А настройки по умолчанию, доставшиеся от шаблона, от разработчика или от статьи десятилетней давности, регулярно содержат ошибки, из-за которых страницы вылетают из индекса или, наоборот, в индекс попадает мусор. Ниже — что этот файл делает на самом деле, семь опасных конструкций, которые я встречаю чаще всего, и порядок проверки собственного файла.
Что делает robots.txt и чего он не делает
Это текстовый файл в корне сайта, доступный по адресу вида «домен/robots.txt». В нём вы пишете инструкции для поисковых роботов: какие разделы обходить, какие не обходить, где лежит карта сайта. Робот открывает его первым, придя на сайт.
Правильно настроенный файл направляет робота на нужные страницы и бережёт краулинговый бюджет — то количество страниц, которое робот готов обойти за визит. На большом сайте это решающая вещь: если обход тратится на тысячи адресов с фильтрами и сортировками, до новых коммерческих страниц робот доходит месяцами.
Теперь о том, чего файл не делает, — здесь кроется самое опасное заблуждение. Запрет в robots.txt — это не запрет индексации, а рекомендация не обходить. Страница, закрытая таким образом, может всё равно попасть в выдачу — например, если на неё ведут внешние ссылки. Только выглядеть она будет плохо: без описания, с пустым сниппетом, потому что содержание робот не прочитал.
Практический вывод: для реального исключения страницы из выдачи нужен мета-тег запрета индексации на самой странице или заголовок ответа сервера, а не строка в robots.txt. Больше того, если вы закроете страницу в robots.txt, робот не сможет её обойти и не увидит мета-тег запрета — то есть закрытие в двух местах одновременно работает хуже, чем в одном.
Опасность 1: запрет на весь сайт
Самая разрушительная ошибка и при этом самая частая. Разработчик собирает сайт на тестовом домене и закрывает его от индексации директивой запрета на корневой каталог для всех роботов. Сайт переезжает на боевой адрес, файл забывают заменить, и поиск послушно перестаёт обходить всё подряд.
Обнаружение занимает десять секунд: откройте свой файл и найдите строку с запретом на одиночный слэш без дополнительных уточнений. Если она есть и относится ко всем роботам — это оно.
Исправление: убрать строку, оставив конкретные запреты на служебные разделы. Дальше отправить главные страницы на переобход вручную через панель вебмастера, иначе возвращение в индекс займёт недели вместо дней.
Отдельно про профилактику: заведите привычку проверять этот файл после каждого переезда, обновления системы управления и любых работ подрядчика с сервером. Полминуты проверки против месяцев отсутствия в выдаче.
Опасность 2: закрытые стили и скрипты
Совет закрывать от индексации каталоги со стилями и скриптами родился в те годы, когда поисковые роботы не умели отрисовывать страницу и воспринимали её как текст. Сегодня и Яндекс, и Google рендерят страницу как браузер, чтобы увидеть её глазами пользователя.
Что происходит, если стили и скрипты закрыты: робот получает голый текст без оформления. Он не видит, что кнопка на месте, что вёрстка адаптивная, что содержание расположено удобно. В лучшем случае страница оценивается хуже, в худшем — считается неработающей на мобильных.
Тему разбирал отдельно: «Сколько заявок вы теряете ночью, пока сайт лежит: аптайм, о котором молчат».
Исправление: открыть для обхода файлы стилей и скриптов темы и расширений. Проверить результат можно инструментом просмотра страницы глазами робота в панели вебмастера — там видно, как выглядит отрисованная страница. Если она разъезжается или отображается без оформления, значит что-то из ресурсов всё ещё закрыто.
Опасность 3: неаккуратные звёздочки
Символ звёздочки означает «любой набор символов», и применённый без осторожности он убивает половину сайта. Классический пример — запрет на всё, что оканчивается на расширение скриптового файла: автор хотел закрыть служебные скрипты, а закрыл все страницы сайта, если система управления отдаёт их с таким расширением.
Помогу с продвижением: продвижение бизнеса в Яндексе — вывожу сайты в топ Яндекса белыми методами.
Похожие ловушки:
- запрет на строку, встречающуюся в адресах нужных разделов, — например, слово, которое есть и в служебном пути, и в названии категории;
- запрет на любые адреса с вопросительным знаком, когда часть работающих страниц использует параметры;
- запрет на короткий фрагмент вроде двух-трёх букв, который случайно попадает в десятки адресов.
Правило простое: после любой директивы со звёздочкой прогоните через инструмент проверки robots.txt десяток реальных адресов вашего сайта — коммерческих страниц, карточек, статей. Инструмент покажет, разрешён обход или запрещён. Это две минуты работы, которые страхуют от потери раздела.
Опасность 4: конфликт разрешающих и запрещающих правил
Директива разрешения существует, чтобы делать исключения внутри закрытого раздела. Но порядок обработки правил не такой, каким кажется интуитивно: побеждает не то правило, что стоит выше, а более длинное и точное.
Из-за этого возникают ситуации, где владелец уверен, что раздел открыт, а робот считает иначе. Особенно часто это встречается на сайтах, где файл собирали из кусков, найденных в разных статьях: там оказываются противоречащие друг другу правила для одних и тех же путей.
Что делать: не собирать файл из чужих кусков. Написать свой, короткий и понятный, где каждая строка объясняется одной фразой. Если строку невозможно объяснить, она вам не нужна.
Опасность 5: разные правила для разных роботов
В файле можно задавать отдельные блоки для разных поисковых систем. Проблема в том, что робот читает только свой блок и общий блок для всех — но если для него есть отдельный блок, общий он игнорирует полностью.
Отсюда типичная ошибка: в общем блоке прописаны все нужные запреты, а в блоке для конкретной системы — только одна строка с картой сайта. В результате для этой системы сайт открыт целиком, включая служебные разделы, корзину, личный кабинет и результаты поиска по сайту.
Смежный материал по теме — «Почему ваш сайт в индексе, но его не существует для Яндекса — парадокс, о котором молчат сеошники».
Практическое правило: если вам не нужны разные правила для разных систем — не делайте отдельных блоков вовсе. Один блок для всех роботов проще, надёжнее и не создаёт расхождений.
| Что нужно закрыть | Чем закрывать | Почему не robots.txt |
|---|---|---|
| Служебные каталоги системы управления | robots.txt | Здесь он и нужен: экономия обхода |
| Результаты внутреннего поиска | robots.txt плюс мета-тег запрета | Бесконечное число адресов съедает обход |
| Корзина, оформление заказа, личный кабинет | robots.txt | Обходить нечего, содержания нет |
| Страницы с конфиденциальными данными | Пароль и права доступа | Файл публичен: закрытые пути в нём видны всем |
| Дубли с параметрами сортировки | Канонический адрес, мета-тег запрета | Закрытую страницу робот не обойдёт и не увидит канонический адрес |
| Страницы, которые не должны быть в выдаче | Мета-тег запрета индексации | robots.txt не запрещает попадание в индекс |
| Устаревшие разделы, которые надо убрать | Удаление и перенаправление | Закрытие не удаляет страницу из выдачи само по себе |
Опасность 6: карта сайта, которой нет
Ссылка на карту сайта в robots.txt — способ сообщить роботу, где лежит список всех страниц. Ошибки здесь встречаются в трёх вариантах: ссылки нет вовсе, ссылка ведёт на несуществующий адрес после переезда, ссылка указана относительным путём вместо полного адреса.
Проверка занимает минуту: скопируйте адрес карты из файла, вставьте в браузер и убедитесь, что он открывается и содержит актуальный список страниц. Отдельно проверьте, что в самой карте нет адресов, закрытых в robots.txt, — такое противоречие поиск воспринимает как ошибку настройки.
Заодно посмотрите на протокол: если сайт работает по защищённому соединению, а в карте перечислены адреса без него, вы указываете роботу на страницы, которых по этим адресам нет.
Опасность 7: файл как карта уязвимостей
Файл robots.txt публичен: его открывает кто угодно. Перечисляя в нём пути к административной панели, к резервным копиям, к тестовым разделам и к служебным скриптам, вы фактически публикуете карту тех мест, где стоит покопаться.
Правильный подход: то, что нужно скрыть от посторонних, закрывается правами доступа и паролем, а не строкой в текстовом файле. В robots.txt перечисляются только те пути, скрывать которые не требуется, — типовые служебные каталоги, которые и так известны для любой распространённой системы управления.
Если сейчас у вас в файле указан нестандартный адрес входа в панель управления, уберите его оттуда и закройте доступ на уровне сервера. Одна эта правка снимает большую часть автоматических попыток подбора.
Проверка и настройка своего файла
Как выглядит нормальный файл
Хороший robots.txt короткий. На типовом сайте услуг это десять-пятнадцать строк, на интернет-магазине с фильтрами — до сорока. Всё, что длиннее сотни строк, почти всегда содержит наслоения от разных исполнителей и противоречия.
Логика построения такая:
Если нужны детали, смотрите «Дубли страниц: тихий убийца трафика, о котором молчат подрядчики».
- один блок правил для всех роботов, если у вас нет причины разделять;
- запрет на служебные каталоги системы управления — они известны и скрывать их незачем;
- запрет на страницы, где нет содержания для показа: корзина, оформление заказа, личный кабинет;
- запрет на технические адреса с параметрами сортировки и отображения;
- разрешение на файлы оформления и скриптов, если они лежат внутри закрытых каталогов;
- полный адрес карты сайта в конце.
Чего в нормальном файле нет: запрета на корневой слэш, длинных списков отдельных страниц, путей к нестандартным служебным разделам, директив, скопированных из статей без понимания, и правил для роботов, которых давно не существует.
Полезная привычка — держать рядом с файлом текстовый комментарий, где каждая строка объяснена одним предложением. Через год вы не вспомните, зачем закрывали конкретный путь, а следующий человек, который откроет файл, тем более. Комментарии в самом файле тоже допустимы: строки, начинающиеся с решётки, роботы игнорируют.
Порядок проверки
- Откройте адрес «ваш домен/robots.txt» в браузере. Если файла нет — это не катастрофа, но и не норма: без него робот обходит всё подряд, включая мусор.
- Найдите запрет на корневой слэш. Если он есть — это первая и главная правка.
- Проверьте, открыты ли файлы оформления и скриптов.
- Прогоните через инструмент проверки десяток реальных адресов сайта: главную, две коммерческие страницы, карточку, статью, страницу категории.
- Убедитесь, что для каждого робота действует один понятный набор правил, а не противоречивые блоки.
- Проверьте адрес карты сайта: открывается ли, актуален ли, совпадает ли протокол.
- Уберите из файла всё, что раскрывает нестандартные служебные пути.
- Сравните число страниц в индексе до и после правок через неделю и через месяц.
Отдельно советую сохранить копию файла до правок. Если после изменений что-то пойдёт не так, вы вернёте прежнее состояние за минуту, а не будете вспоминать, что там было.
Что делать после правок
Изменение файла — не конец работы, а её начало: последствия проявляются неделями, и за ними нужно наблюдать.
- Проверьте файл сразу после загрузки. Откройте его по адресу в браузере в режиме инкогнито и убедитесь, что видите новую версию, а не закешированную старую.
- Прогоните контрольный список адресов через инструмент проверки — те же десять адресов, что и до правок, чтобы сравнить результат.
- Отправьте важные страницы на переобход вручную. Если вы что-то открыли, естественного обхода придётся ждать неделями.
- Снимите число страниц в индексе в день правки и запишите. Через неделю и через месяц сравните.
- Следите за статистикой обхода. Если вы закрыли мусорные адреса, доля обхода на нужных страницах должна вырасти — это виден результат, а не догадка.
- Проверьте карту сайта на противоречия: в ней не должно остаться адресов, которые вы только что закрыли.
- Зафиксируйте дату правки в журнале изменений сайта. При следующей просадке трафика это первое, на что вы посмотрите.
Наблюдать имеет смысл около месяца. Быстрые изменения — перечитывание файла роботом — происходят за сутки-двое, а вот индекс перестраивается медленно, и делать выводы через три дня рано. Если через месяц число нужных страниц в индексе выросло, а обход перестал уходить в мусор, правки были верными.
Частые вопросы
Нужен ли robots.txt маленькому сайту на десять страниц? Строго обязательным он не является, но полезен: даже на маленьком сайте есть служебные адреса и результаты внутреннего поиска, которые незачем обходить. Минимальный файл из нескольких строк с указанием карты сайта лучше, чем его отсутствие.
Как убрать страницу из выдачи, если она уже там? Мета-тегом запрета индексации на самой странице, а в robots.txt её при этом закрывать нельзя — иначе робот не зайдёт и не увидит тег. После этого можно ускорить процесс через инструмент удаления в панели вебмастера.
Через сколько после правок робот увидит изменения? Файл перечитывается при очередном обходе, обычно в течение суток-двух. А вот последствия — возвращение страниц в индекс или их исчезновение — растягиваются на недели.
Можно ли скопировать файл у конкурента? Нет. Структура каталогов, система управления и набор служебных путей у вас другие. Скопированный файл в лучшем случае бесполезен, в худшем закрывает работающие разделы.
Что делать с адресами, которые генерируются фильтрами? Разделять по спросу: комбинации, которые люди ищут, превращать в отдельные страницы с собственными адресами, остальные закрывать от обхода и указывать канонический адрес на основную категорию.
Влияет ли этот файл на позиции напрямую? Нет, он не является фактором ранжирования. Но он определяет, какие страницы вообще будут обойдены и оценены, а значит влияет на всё остальное косвенно и очень сильно.
Коротко
- Запрет в robots.txt — это указание не обходить, а не запрет индексации: закрытая страница может попасть в выдачу с пустым сниппетом.
- Закрытие страницы в robots.txt мешает роботу увидеть мета-тег запрета на ней — закрывать в двух местах одновременно нельзя.
- Запрет на корневой слэш, оставшийся с тестового домена, — самая частая и самая разрушительная ошибка; проверяется за десять секунд.
- Стили и скрипты должны быть открыты: современные роботы отрисовывают страницу, и без оформления она оценивается как сломанная.
- После любой директивы со звёздочкой прогоняйте через инструмент проверки десяток реальных адресов сайта — это страхует от потери целого раздела.
- Файл публичен, поэтому служебные пути закрываются правами доступа, а не строкой в тексте, который может прочитать кто угодно.
Если не уверены, что ваш файл настроен правильно, или страницы пропадают из индекса без понятной причины, приходите на SEO-консультацию: разберём ваш robots.txt построчно, проверим реальные адреса сайта на доступность для обхода и посмотрим, куда на самом деле уходит краулинговый бюджет.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Остались вопросы по продвижению?
Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе и Google.
Связаться со мной →Комментарии
Севастьяна Толмачёва
Открыла свой файл после статьи. Там запрет на корневой слэш для одного из роботов, а для остальных нормальные правила. Сайт живёт четыре года, в Яндексе всё в порядке, в Google почти нет страниц. Теперь понятно почему.
Анатолий Кузнецов автор
Диагноз, скорее всего, верный, и это как раз пятая опасность из статьи в чистом виде: робот с отдельным блоком читает только его и полностью игнорирует общие правила. Порядок действий такой. Уберите отдельный блок целиком, оставив один набор правил для всех роботов, — если вам не нужны разные правила, разделять не надо. Дальше отправьте на переобход главную и десяток самых важных страниц вручную, не ждите естественного обхода. Через неделю посмотрите число страниц в индексе, через месяц — ещё раз; возвращение обычно идёт волнами, а не сразу. И заранее приготовьтесь к тому, что позиции в этой системе появятся не мгновенно: страницы вернутся в индекс за недели, а накопление доверия к ним займёт ещё пару месяцев. Заодно проверьте, нет ли на этих страницах мета-тега запрета — иногда одну и ту же ошибку дублируют в двух местах.
Мирослав Ходыкин
Про публичность файла даже не задумывался. У нас там был прописан путь к резервным копиям, чтобы робот их не трогал. Убрал, поставил защиту на уровне сервера. Спасибо, реально не приходило в голову.
Агафья Пожидаева
Не соглашусь про закрытие результатов внутреннего поиска. У нас эти страницы приносят трафик по длинным запросам, мы их специально оставили открытыми и не жалеем. Так что совет не универсальный.
Анатолий Кузнецов автор
Ваш случай — исключение, которое действительно работает, но у него есть условия, и без них он превращается в проблему. Работает это, когда страницы результатов имеют осмысленные адреса, собственный заголовок под конкретный запрос и не создают бесконечного числа комбинаций. Если у вас именно так — вы фактически сделали из внутреннего поиска генератор посадочных страниц, и закрывать его действительно не надо. Опасность возникает в типовой реализации: адреса с параметрами, одинаковый заголовок на всех, пустые результаты по случайным словам и неограниченное число вариантов, которые робот честно обходит вместо ваших коммерческих страниц. Проверить, к какому случаю относится ваш сайт, можно за десять минут: посмотрите в логах или в отчёте по обходу, сколько уникальных адресов результатов поиска робот посетил за месяц. Если счёт идёт на десятки — всё хорошо. Если на тысячи, значит обход уходит туда, а не на карточки товаров.
Ермил Ознобишин
Проверил через инструмент десяток адресов, как советуете. Восемь разрешены, два запрещены — обе страницы категорий, у которых в адресе оказалась та же буквенная комбинация, что и в служебном пути. Никогда бы сам не догадался.
Харлампий Векшин
Вопрос про краулинговый бюджет. У нас магазин на сорок тысяч товаров, робот обходит около двух тысяч страниц в сутки. Как понять, тратится ли он правильно, и что вообще с этим делать?
Анатолий Кузнецов автор
Смотреть надо не на цифру обхода, а на её состав, и он виден в отчёте по статистике обхода в панели вебмастера и в логах сервера. Выгрузите список адресов, которые робот посетил за последнюю неделю, и разложите по типам: карточки товаров, категории, адреса с параметрами, результаты поиска, служебные страницы. На здоровом магазине основная часть обхода приходится на карточки и категории. Если половина уходит на адреса с параметрами сортировки и фильтров, вы нашли утечку. Дальше три действия. Первое: закрыть от обхода сортировки, постраничную навигацию по параметрам и результаты внутреннего поиска. Второе: убрать из карты сайта всё, что не должно индексироваться, — противоречие между картой и запретами робот тоже отрабатывает впустую. Третье: проверить скорость ответа сервера, потому что объём обхода напрямую от неё зависит: чем быстрее отдаются страницы, тем больше их успевает обойти робот за то же время. На сорока тысячах товаров последний пункт часто даёт больше всего.
Милица Забураева
Добавлю про карту сайта: у нас после перехода на защищённое соединение в файле полгода висел адрес карты со старым протоколом. Карта открывалась через перенаправление, но робот на неё жаловался. Мелочь, а нашли случайно.
Феоктист Бурмистров
Меня смущает тезис, что закрытая в robots страница может оказаться в выдаче. Всегда думал, что если закрыл — значит закрыл. Получается, вся логика последних лет работы у меня была построена на неверном понимании.
Анатолий Кузнецов автор
Это самое распространённое заблуждение в теме, и оно объясняется названием: слово «disallow» читается как «запретить», хотя означает «не обходить». Механика такая: робот уважает запрет и не заходит на страницу, но если о её существовании он узнал из другого источника — по внешней ссылке, из карты сайта, из внутренней перелинковки, — сам адрес ему известен. В некоторых случаях он показывает такой адрес в выдаче с пустым описанием или с текстом ссылки, по которой узнал о странице. Практический вывод для вашей работы: разделите задачи. Если цель — не тратить обход на бесполезные разделы, robots.txt правильный инструмент. Если цель — чтобы страницы не было в выдаче, нужен мета-тег запрета индексации, и страница при этом должна оставаться доступной для обхода. Пройдитесь по списку того, что вы закрывали за эти годы, и разложите по этим двум задачам — обычно выясняется, что часть закрытий стоит переделать.
Ульяна Черемисина
Скопировала когда-то файл с сайта из своей же ниши, потому что он выглядел солиднее моего. Через месяц пропал весь раздел с услугами — у них он назывался иначе и попадал под их запрет. Не повторяйте.
Пахом Слепцов
Про открытие стилей и скриптов: посмотрел страницу глазами робота, как советуете. Отрисовка развалилась полностью, вместо сайта столбик текста. Открыл каталоги темы, проверил снова — картинка нормальная. Заняло пятнадцать минут.
Лариса Бурдуковская
Хочу уточнить про длину и точность правил. Правильно ли я поняла, что если у меня есть запрет на раздел и разрешение на подраздел внутри него, то подраздел будет обходиться, потому что путь длиннее?
Анатолий Кузнецов автор
В общем случае да: при конфликте побеждает более точное, то есть более длинное совпадение пути, а не то правило, которое стоит выше в файле. Но полагаться на теорию здесь не стоит по двум причинам. Первая: разные поисковые системы исторически обрабатывали такие конфликты не совсем одинаково, и на сложных наборах правил результат может отличаться. Вторая: длина считается по строке, а не по логике вложенности, и звёздочки внутри правил легко ломают ожидаемый порядок. Поэтому делайте так: после каждой правки берите три-четыре конкретных адреса из того самого подраздела и прогоняйте их через инструмент проверки robots.txt в панели вебмастера — он показывает не только разрешён обход или нет, но и какое именно правило сработало. Это единственный надёжный способ убедиться, что файл понят так, как вы задумали. И общий совет: чем меньше в файле пересекающихся правил, тем меньше поводов гадать.
Аникей Растопчин
Сохранил копию файла перед правками, как написано. Пригодилось на следующий день: закрыл лишнего, страницы стали выпадать, вернул прежнюю версию за минуту. Без копии искал бы причину неделю.
Домна Ярцева
У нас сайт на конструкторе, доступа к файлу нет вообще, редактируется только через настройки панели. Половина советов из статьи неприменима. Что делать в такой ситуации?
Старт 
Стандарт 
Премиум 
Отличная тема. Иду проверять свой robots на опасные настройки по умолчанию.
Добавлю: не закрывайте в robots то, что уже в индексе, — для удаления это работает не так, как думают.
Спасибо, что подсветили. Первым делом проверю robots на своём сайте.
Такие тихие настройки страшнее явных ошибок. Никто не ищет, а трафик режется годами.
Нашла закрытые важные страницы через Вебмастер. Открыла, отправила на переобход, ждём.
Проверяйте robots в Вебмастере через инструмент анализа. Он покажет, что реально закрыто для робота.
Одна неверная директива в robots — и месяцы работы над контентом впустую, его просто не видят.
А если я нашёл лишний запрет и убрал его, как быстро закрытые страницы вернутся в индекс?
Владислав, не мгновенно. После снятия запрета робот должен заново обойти страницы и вернуть их в индекс, это занимает от нескольких дней до недель в зависимости от траста сайта и частоты обхода. Ускорить можно: добавьте эти страницы в sitemap, поставьте на них внутренние ссылки и отправьте на переобход в Вебмастере. Но переоценка и стабильные позиции придут не сразу после возврата в индекс. Так что исправьте robots, помогите переобходом и дайте время — возврат страниц пойдёт по мере обхода.
Плагины и шаблоны любят ставить свои запреты в robots. Проверять надо обязательно после установки.
Спасибо, побежал проверять. Про robots все забывают, а он решает, что вообще увидит поиск.
Самое коварное, что такие настройки по умолчанию тихие: сайт работает, а половина не в индексе.
А что должно быть в правильном robots, а чего там точно быть не должно? Есть базовый ориентир?
Николай, в правильном robots закрыты только служебные и мусорные вещи: админка, корзина, страницы поиска по сайту, дубли с параметрами, технические разделы. Обязательно должна быть указана ссылка на sitemap. Чего там быть не должно: запретов на важные разделы, товары, статьи, категории, а также глобального запрета всего сайта, который иногда остаётся с этапа разработки. Ориентир простой: закрываем от робота только то, что не должно попадать в поиск, и никогда не закрываем то, что должно продвигаться.
Проверила свой robots после статьи — там висел лишний запрет от прошлого разработчика. Убрала.
У меня движок по умолчанию закрывал целый раздел. Нашёл случайно, трафик сразу подрос.
А как самому проверить, не закрыл ли мой robots по умолчанию что-то важное от индексации?
Алина, проверяется за пять минут. Откройте свой robots.txt по адресу сайт плюс слеш robots.txt и посмотрите на строки Disallow — что именно закрыто. Затем в Вебмастере есть инструмент проверки robots: вставляете нужный URL и видите, разрешён он к обходу или запрещён. Так вы поймёте, не закрыты ли важные страницы. Ещё в Вебмастере смотрите раздел с исключёнными страницами: если важное исключено из-за запрета в robots, это сразу видно. Проверьте так каждую ключевую страницу.
Важная тема. Одна строчка в robots по умолчанию может годами закрывать от индексации половину сайта.