X-Robots-Tag закрывает от индексации PDF и картинки, куда метатег вставить физически некуда, и это единственный штатный способ управлять индексацией файла. Проверьте прямо сейчас: наберите в Яндексе запрос вида site:вашсайт.ру filetype:pdf. Если в выдаче всплыл прайс двухлетней давности, скан договора с реквизитами или коммерческое предложение, которое вы отправляли одному клиенту, — вы уже понимаете, зачем нужен этот заголовок.
Механика простая и неприятная. Поисковый робот индексирует не только HTML-страницы. Он открывает PDF, DOC, XLS, TXT, а картинки уходят в поиск по изображениям. Внутри PDF нет тега <head>, значит нет места, куда воткнуть <meta name="robots" content="noindex">. Внутри JPG — тем более. Остаётся один канал, по которому сервер может сказать роботу «этот файл в индекс не бери»: HTTP-заголовок ответа. Он называется X-Robots-Tag и отдаётся до того, как робот скачает сам файл.
Ниже — как это устроено, чем отличается от robots.txt и метатега, как настроить на Apache и nginx, как проверить и как выкинуть из индекса то, что туда уже попало. Если разбираться самому некогда, я делаю это в рамках доработки сайта — но настройка честно несложная, дальше всё расписано по шагам.
Почему прайс в PDF оказывается в выдаче
Файл попадает в индекс, когда на него есть хотя бы одна ссылка, доступная роботу. Источников больше, чем кажется:
- Кнопка «Скачать прайс» на странице услуг — самая очевидная дорога.
- Ссылка в письме, которое клиент переслал дальше, а получатель открыл файл в браузере с включённым счётчиком.
- Автоматическая карта сайта: некоторые генераторы sitemap.xml тащат в неё вложения WordPress вместе с приложенными файлами.
- Медиабиблиотека WordPress: у каждого загруженного файла есть собственная страница вложения с отдельным URL, и она индексируется как обычная запись.
- Открытый листинг каталога на сервере. Если в
/wp-content/uploads/2024/03/не запрещён обзор директорий, робот получает список всех файлов разом.
Дальше происходит то, ради чего эту статью стоит дочитать. Проиндексированный PDF начинает ранжироваться. По запросу «прайс на монтаж вентиляции» человек попадает не на вашу страницу услуг с формой заявки, а сразу в файл: без шапки, без телефона, без кнопки. Цены в нём прошлогодние. Ни одного пути к заявке. Плюс этот же файл конкурирует с вашей же посадочной страницей за тот же запрос — классическая каннибализация, только не между страницами, а между страницей и вложением.
Отдельная категория — то, что вообще не предназначалось для чужих глаз: договор с ФИО и паспортными данными, внутренняя смета, дамп базы backup.sql, оставленный в корне после переноса, архив с макетами. Всё это лежит по прямому адресу, отдаётся кодом 200 и с точки зрения робота ничем не отличается от страницы «О компании».
Три инструмента и зона ответственности каждого
Владельцы сайтов постоянно путают три вещи, которые решают разные задачи. Разница принципиальная, и от неё зависит, сработает настройка или нет.
robots.txt — это запрет на обход. Робот читает файл до захода на страницу и, увидев Disallow, не отправляет запрос. Он не скачивает документ и не знает, что внутри. Именно поэтому robots.txt не гарантирует отсутствия в выдаче: если на закрытый URL ведут внешние ссылки, поисковик может показать сам адрес, взяв текст из анкоров. Подробный разбор поведения файла и типовых ошибок я собрал в материале про опасные настройки robots.txt по умолчанию.
Метатег robots — это запрет на индексацию содержимого. Работает наоборот: робот обязан зайти на страницу, скачать HTML и прочитать тег в <head>. Только тогда он узнает, что страницу брать не надо. Живёт исключительно внутри HTML, для файлов бесполезен. Разбор метатега и его связки с файлом — в статье «Мета-тег Robots и файл robots.txt».
X-Robots-Tag — тот же запрет на индексацию содержимого, но переданный не в теле документа, а в HTTP-заголовке ответа сервера. Робот получает его вместе с кодом 200 и типом контента, ещё до загрузки самого файла. Тип файла роли не играет: PDF, PNG, ZIP, XLSX, JSON — заголовок отдаётся для чего угодно.
| Критерий | robots.txt | Метатег robots | X-Robots-Tag |
|---|---|---|---|
| Что делает | Запрещает обход (запрос к URL) | Запрещает индексацию содержимого | Запрещает индексацию содержимого |
| Где размещается | Один файл в корне сайта | В <head> каждой страницы |
В HTTP-заголовке ответа сервера |
| Для каких форматов | Любые URL | Только HTML | Любые: PDF, DOC, XLS, изображения, архивы |
| Робот скачивает файл | Нет | Да, обязательно | Заголовок читает до тела файла |
| Понимает Яндекс | Да | Да | Да, поддержка заявлена в документации |
| Понимает Google | Да | Да | Да |
| Что с уже проиндексированным | Может остаться в выдаче как URL без описания | Выпадет при следующем обходе | Выпадет при следующем обходе |
| Настраивается | Текстовым файлом, без доступа к серверу | Через CMS или SEO-плагин | Через конфиг сервера: .htaccess или nginx |
Ключевая строка в этой таблице — предпоследняя. robots.txt экономит краулинговый бюджет, но не чистит выдачу. X-Robots-Tag чистит выдачу, но тратит обход, потому что робот должен прийти и увидеть заголовок. Инструменты не заменяют, а дополняют друг друга — и в этом источник самой массовой ошибки.
Ошибка, из-за которой страница висит в выдаче годами
Сценарий, который я вижу на каждом втором сайте, куда меня зовут с жалобой «закрыл, а оно висит».
Владелец находит в выдаче лишний раздел. Заходит в robots.txt, пишет Disallow: /katalog-pdf/. Через месяц раздел всё ещё в поиске. Владелец добавляет для верности noindex — метатегом или, если разобрался, заголовком X-Robots-Tag. Проходит полгода. Страница в выдаче.
Причина в порядке чтения. robots.txt робот читает первым. Увидев Disallow, он не делает запрос к URL вообще. Не делая запрос, он не получает ни HTML с метатегом, ни HTTP-заголовок. Директива noindex стоит — но её физически некому прочитать. Получается запертая дверь с табличкой «не входить» на внутренней стороне.
Правило запоминается одной фразой: noindex и Disallow для одного и того же URL несовместимы. Работает или одно, или другое, никогда не вместе.
| Задача | Что использовать | Чего делать нельзя |
|---|---|---|
| Убрать файл из выдачи, его там уже нашли | X-Robots-Tag: noindex, URL открыт в robots.txt | Закрывать этот URL в robots.txt |
| Не пускать робота в служебный раздел, в выдаче его нет | Disallow в robots.txt | Ставить noindex «на всякий случай» — он не прочитается |
| Файл уже выпал из индекса, надо сэкономить обход | Добавить Disallow после исчезновения из выдачи | Снимать X-Robots-Tag раньше, чем URL пропал |
| Раздел закрыт в robots.txt, но всё равно в поиске | Снять Disallow, оставить noindex, дождаться переобхода | Усиливать Disallow новыми масками |
Последовательность всегда одна: сначала noindex при открытом доступе, дожидаемся выпадения из индекса, и только потом, если нужно беречь бюджет обхода, закрываем в robots.txt. Как работает бюджет и на что робот тратит визиты, я разбирал в материале про краулинговый бюджет.
Как настроить X-Robots-Tag: Apache и nginx
Настройка живёт в конфигурации сервера, не в CMS. Плагины SEO управляют метатегом на HTML-страницах, но до PDF в папке uploads они не дотягиваются.
Apache: файл .htaccess
Нужен включённый модуль mod_headers — на обычном виртуальном хостинге он есть почти всегда. Файл .htaccess кладётся в корень сайта или в конкретную папку с файлами. Закрываем документы по расширению:
<IfModule mod_headers.c>
<FilesMatch "\.(pdf|doc|docx|xls|xlsx|ppt|pptx|zip|rar|7z|sql)$">
Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>
</IfModule>Разбор по частям. FilesMatch — регулярное выражение по имени файла, точка экранируется обратным слэшем, перечисление в скобках через вертикальную черту, $ означает конец имени. Header set перезаписывает заголовок, если он уже был; Header always set добавляет его в том числе к ответам с ошибками. Оборачивание в IfModule страхует от падения сайта с ошибкой 500, если модуль на сервере отключён.
Если нужно закрыть не по типу, а по расположению — например, всю папку с внутренними документами — .htaccess кладётся прямо в неё, и условие по имени файла не нужно:
<IfModule mod_headers.c>
Header set X-Robots-Tag "noindex, nofollow"
</IfModule>Отдельно про картинки. Закрывать все изображения сайта разом — плохая идея, поиск по картинкам приносит трафик. Но если у вас есть папка со сканами и служебной графикой, закрывается она тем же способом. Про обратную сторону вопроса — как из-за технической ошибки картинки перестают попадать в поиск — я писал в статье про ленивую загрузку и трафик из поиска по изображениям.
nginx: директива add_header
В nginx заголовок добавляется в блок server или в нужный location. Конфиг правится в файле сайта и применяется после перезагрузки сервера.
location ~* \.(pdf|docx?|xlsx?|pptx?|zip|rar|7z|sql)$ {
add_header X-Robots-Tag "noindex, nofollow" always;
}Здесь три вещи, на которых спотыкаются чаще всего.
Ключевое слово always. Без него nginx добавляет заголовок только к ответам с «успешными» кодами. С always заголовок отдаётся при любом коде ответа, включая 301 и 404, — так надёжнее.
Наследование add_header не работает так, как ожидается. Директивы наследуются от родительского блока только до тех пор, пока в дочернем блоке нет ни одного собственного add_header. Стоит добавить в location любой другой заголовок — и все унаследованные исчезают. Если в location с файлами уже прописано кэширование через add_header Cache-Control, строку с X-Robots-Tag нужно повторить прямо в этом же блоке.
Порядок location. При регулярных выражениях побеждает первое совпадение сверху вниз. Если выше по конфигу стоит другой блок, который ловит те же расширения, ваш просто не отработает.
После правки конфиг проверяется командой nginx -t и применяется через nginx -s reload. Отдельная засада: на связке nginx + Apache статику часто отдаёт nginx напрямую, минуя Apache. В этом случае правила из .htaccess для PDF просто не выполняются — файл до Apache не доходит. Если добавили заголовок в .htaccess, а curl его не показывает, причина обычно именно эта.
Директивы и как закрыть файл только для одного робота
Значение заголовка — это те же директивы, что и в метатеге robots, перечисленные через запятую.
| Директива | Что делает | Поддержка |
|---|---|---|
noindex |
Не индексировать содержимое, не показывать в выдаче | Яндекс и Google |
nofollow |
Не переходить по ссылкам внутри документа (в PDF ссылки бывают) | Яндекс и Google |
none |
Сокращение для noindex, nofollow |
Яндекс и Google |
noarchive |
Не показывать сохранённую копию документа | Яндекс и Google |
noyaca |
Не брать описание из Яндекс.Каталога | Только Яндекс |
nosnippet |
Не показывать фрагмент текста в сниппете | |
unavailable_after |
Убрать из индекса после указанной даты | Google; у Яндекса не заявлена |
Про unavailable_after стоит сказать отдельно, потому что штука полезная и малоизвестная. Формат такой:
Header set X-Robots-Tag "unavailable_after: 25 Dec 2026 15:00:00 GMT"Это готовое решение для документов с известным сроком жизни: условия акции, прайс на квартал, регламент до конца года, программа мероприятия. Дата прошла — документ сам уходит из индекса Google, без вашего участия. Для Яндекса такой директивы в документации нет, поэтому рассчитывать на неё как на единственный механизм нельзя: для полного закрытия после даты придётся руками поставить обычный noindex.
Теперь про адресность. Директиву можно назначить конкретному роботу — для этого перед списком через двоеточие указывается его имя:
Header set X-Robots-Tag "yandex: noindex"
Header add X-Robots-Tag "googlebot: noindex, nofollow"Обратите внимание на разницу: Header set перезаписывает предыдущее значение, Header add добавляет вторую строку с тем же именем заголовка. Если написать set дважды, останется только последняя строка, и правило для Яндекса потеряется. Заголовок без имени робота действует на всех.
Реальный сценарий адресного закрытия встречается редко — обычно закрывают для всех сразу. Логика «закрыть от Google, оставить в Яндексе» чаще возникает от растерянности, чем от расчёта. Если вы ловите разное поведение поисковиков на одном сайте, сначала стоит проверить, одинаково ли они вообще видят страницы: Google и Яндекс видят сайт по-разному, и причина обычно техническая.
Как проверить, что заголовок реально отдаётся
Настройка без проверки — половина работы. Заголовок может не отдаваться из-за отключённого модуля, из-за кэша, из-за того, что статику перехватил nginx, или из-за опечатки в регулярном выражении. Проверять нужно всегда, тремя способами на выбор.
| Способ | Как сделать | Что смотреть |
|---|---|---|
| curl в терминале | curl -I https://site.ru/files/price.pdf |
Строка x-robots-tag: noindex в ответе |
| curl от имени робота | Тот же запрос с ключом -A "Mozilla/5.0 (compatible; YandexBot/3.0)" |
Совпадает ли ответ с обычным |
| Вебмастер Яндекса | Инструменты → Проверка ответа сервера, вставить URL файла | Полный список заголовков, которые видит робот |
| Браузер | F12 → вкладка Network → кликнуть по запросу → Response Headers | Заголовок в списке ответа |
Проверка от имени робота — не паранойя. На сайтах с кэширующими плагинами и CDN нередко бывает, что обычному посетителю отдаётся один набор заголовков, а роботу — другой, из кэша, собранного до правки. Если curl показывает заголовок, а Вебмастер нет, дело почти всегда в кэше: сбросьте его полностью и повторите. Что ещё робот видит иначе, чем вы, хорошо видно по логам сервера — там же можно убедиться, что робот вообще заходит за этими файлами.
Ещё одна проверка, о которой забывают: убедитесь, что закрытый URL не запрещён в robots.txt. Инструмент анализа robots.txt в Вебмастере принимает конкретный адрес и показывает, разрешён он к обходу или нет. Если ответ «запрещён» — вы наступили на ошибку из раздела выше.
Когда закрывать не надо
Массовое закрытие всех файлов подряд — это не наведение порядка, а потеря трафика. Прежде чем писать FilesMatch на весь сайт, разберите список файлов по назначению.
PDF-каталог, который сам приводит трафик. В производстве, оптовой торговле, оборудовании и стройматериалах каталог в PDF часто ранжируется по узким запросам с артикулами и названиями моделей — HTML-страницы такого охвата просто не дают. Проверить легко: откройте Метрику, отчёт по страницам входа, и посмотрите, есть ли переходы из поиска на адреса с расширением .pdf. Есть переходы — закрывать нельзя. Правильное действие обратное: положить в файл название компании, телефон, сайт и сделать первую страницу продающей.
Инструкция или регламент, которые ищут по названию. Если люди набирают в поиске «инструкция по монтажу [модель] pdf» — это готовый спрос, и вы либо забираете его себе, либо отдаёте агрегаторам.
Изображения товаров и работ. Поиск по картинкам даёт заметную долю переходов в тематиках с визуальным выбором: мебель, ремонт, ландшафт, одежда. Закрыв всю папку uploads, вы отрежете этот канал целиком.
Документы, подтверждающие экспертность. Сертификаты, лицензии, дипломы, свидетельства СРО — это сигналы доверия. Их не только не надо закрывать, их стоит выводить отдельной страницей с подписями.
Публичная оферта и политика обработки данных. Формально это служебные документы, но их отсутствие в индексе иногда трактуется как непрозрачность. Вреда от их индексации нет.
И обратная сторона: X-Robots-Tag не защищает файл от доступа. Это просьба к поисковику, а не запрет на скачивание. Кто угодно, зная адрес, откроет документ в браузере. Если файл содержит персональные данные, коммерческую тайну, реквизиты или дамп базы — его нужно не «закрывать от индексации», а убирать с публичного хостинга или закрывать паролем на уровне сервера. Разница между «не показывать в поиске» и «не давать скачать» здесь принципиальная, и путаница в ней регулярно заканчивается утечкой. Смежная тема — что бывает, когда на сайт попадают чужие файлы: взлом WordPress и чистка спам-страниц из индекса.
Как убрать из индекса то, что уже там
Заголовок сам по себе — инструмент отложенного действия. Файл выпадет из выдачи не раньше, чем робот придёт за ним заново, а до редко посещаемых PDF робот доходит нечасто. Ускорить процесс можно, но действовать нужно в правильном порядке.
- Настроить X-Robots-Tag: noindex на нужные файлы и убедиться через curl, что заголовок отдаётся.
- Проверить, что URL не закрыт в robots.txt. Если закрыт — снять запрет, иначе робот не придёт и заголовок не прочитает.
- Отправить URL на переобход в Вебмастере Яндекса, раздел «Индексирование → Переобход страниц». Файлы принимаются так же, как страницы.
- Использовать инструмент удаления. В Вебмастере это «Инструменты → Удаление страниц из поиска». Работает по конкретному URL или по префиксу — можно снести целую папку. Есть суточный лимит на количество адресов, актуальное число показано в самом интерфейсе.
- Дождаться результата. Обычно исчезновение из выдачи занимает от нескольких дней до пары недель после переобхода. Если файл висит месяц — почти наверняка робот до него не дошёл: смотрите логи и проверяйте robots.txt ещё раз.
Важная деталь про инструмент удаления. Он не удаляет ничего навсегда — это временное скрытие, которое действует, пока поисковик не убедится, что документ действительно закрыт или отдаёт 404. Если после удаления снять заголовок, файл вернётся в выдачу при следующем обходе. Поэтому X-Robots-Tag снимать нельзя: удаление — ускоритель, а не замена.
Для WordPress есть отдельный источник мусора — страницы вложений. У каждого загруженного файла создаётся собственная HTML-страница с URL вида /nazvanie-fajla/, и это уже обычная страница, которую закрывает метатег или редирект на сам файл. Большинство SEO-плагинов умеют делать это одной галочкой. Похожая история с внутренним поиском, который плодит пустые URL: как закрыть его от индексации, разобрано отдельно. И более общий взгляд на постраничное управление индексацией — в руководстве по постраничному robots.
Коротко
- В PDF, DOC, XLS и картинки метатег robots вставить некуда — у них нет HTML. Единственный штатный способ управлять их индексацией — HTTP-заголовок X-Robots-Tag.
- robots.txt запрещает обход, X-Robots-Tag запрещает индексацию. Это разные задачи, и одно не заменяет другое.
- Закрывать URL в robots.txt и одновременно ставить noindex нельзя: робот не зайдёт и запрет не прочитает. Файл останется в выдаче.
- Apache настраивается через
Header setвнутриFilesMatchв .htaccess, nginx — черезadd_headerс ключомalwaysв нужном location. - Полезные директивы:
noindex,nofollow,none,noarchive. Отдельно —unavailable_afterдля документов со сроком годности, но её понимает только Google. - Проверка обязательна:
curl -I, проверка ответа сервера в Вебмастере, вкладка Network в браузере. Отсутствие заголовка чаще всего означает кэш или перехват статики со стороны nginx. - Перед закрытием проверьте в Метрике переходы из поиска на файлы. Каталог, который приводит клиентов, закрывать нельзя — его нужно доработать.
- X-Robots-Tag не защищает файл от скачивания. Персональные данные и дампы баз убираются с публичного доступа, а не прячутся от поиска.
Чеклист: что проверить на типовом сайте
Пройдите по списку сверху вниз. На большинстве сайтов первые три пункта дают весь результат.
| Что проверить | Как найти | Решение по умолчанию |
|---|---|---|
| PDF в индексе | Запрос site:домен filetype:pdf в Яндексе и Google |
Разобрать по назначению: продающие оставить, устаревшие закрыть |
| DOC, DOCX, XLS, XLSX | Тот же запрос с нужным filetype | Почти всегда noindex: договоры, сметы, шаблоны |
| Архивы ZIP, RAR, 7z | Поиск по filetype:zip плюс просмотр папки uploads |
noindex для всех без исключения |
Дампы баз .sql, .sql.gz |
Проверить корень сайта и папку с бэкапами по прямому адресу | Удалить с сервера, не закрывать заголовком |
Резервные копии .bak, .old, wp-config.php.save |
Перебор типовых имён вручную | Удалить немедленно |
| Открытый листинг директорий | Открыть /wp-content/uploads/ в браузере |
Запретить обзор: Options -Indexes в .htaccess |
| Служебные и тестовые папки | /test/, /backup/, /old/, /dev/, /tmp/ |
noindex плюс закрытие доступа паролем |
| Страницы вложений WordPress | Запрос site:домен и просмотр коротких URL с именами файлов |
Редирект на файл или noindex в SEO-плагине |
| Сканы документов с ФИО и реквизитами | Просмотр папки uploads по датам загрузки | Убрать с публичного хостинга |
| Конфликт Disallow и noindex | Анализ robots.txt в Вебмастере по каждому закрытому URL | Оставить только один механизм из двух |
Начните с первых трёх строк: PDF, офисные документы и архивы дают львиную долю мусора в выдаче на типовом корпоративном сайте. Дальше по убыванию срочности — дампы и резервные копии, потому что это уже не про SEO, а про безопасность.
Если после чистки хочется понять, что ещё в технике сайта работает против вас, начните с бесплатного аудита сайта — я смотрю индексацию, заголовки и структуру в связке. А когда нужно не разово подчистить, а системно вывести сайт в топ по коммерческим запросам, это уже SEO-продвижение сайта в Яндексе с постоянной работой над технической частью и содержанием.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Остались вопросы по продвижению?
Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе и Google.
Связаться со мной →
Старт 
Стандарт 
Премиум 
Комментарии
Игорь
Проверил через site: filetype:pdf — нашлось 47 файлов. Половина это прайсы за 2022 и 2023 годы, там цены в два раза ниже нынешних. Люди реально по ним звонят и требуют старую цену. Теперь понятно откуда.
Анатолий Кузнецов автор
Типичная история. Только не закрывайте их скопом сразу: сначала посмотрите в Метрике, есть ли на эти адреса переходы из поиска. Если есть — старый прайс лучше не закрыть, а заменить содержимое файла по тому же URL на актуальный. Адрес уже имеет вес, терять его жалко. А вот те, на которые заходов нет, закрывайте noindex смело.
Марина
Спасибо, наконец-то понятно про разницу robots.txt и noindex. Я год держала папку закрытой в robots и не понимала, почему Яндекс всё равно показывает адреса.
Сергей В.
Не соглашусь насчёт несовместимости Disallow и noindex. У меня закрыто и там и там, и всё выпало из выдачи нормально. Может, это касается только Google?
Анатолий Кузнецов автор
У вас выпало из-за Disallow, а не из-за noindex — Яндекс действительно чаще выкидывает закрытые в robots.txt адреса, чем Google. Но это не гарантия, а поведение по умолчанию, которое меняется при наличии внешних ссылок на файл. Проблема в том, что вы не можете отличить один случай от другого: результат один, а причина разная. Когда что-то не выпадет — вы будете месяц гадать почему. Поэтому я и настаиваю на одном механизме.
Дмитрий
Прописал FilesMatch в .htaccess, curl заголовок не показывает. Модуль headers включён, проверял через phpinfo. Куда копать?
Анатолий Кузнецов автор
Скорее всего у вас связка nginx + Apache, и статику отдаёт nginx напрямую — до Apache запрос за PDF просто не доходит, поэтому .htaccess не отрабатывает. Посмотрите заголовок Server в ответе curl. Если там nginx — правило нужно переносить в конфиг nginx через add_header. На хостингах с ISPmanager это настраивается в панели, в настройках сайта.
Алексей
Вопрос новичка: а если у меня Тильда или другой конструктор, где нет доступа к серверу? Как там закрыть PDF?
Анатолий Кузнецов автор
Никак — это одно из ограничений конструкторов, про которые узнают поздно. Заголовки ответа задаёт платформа, а вы к ним не подключены. Остаются обходные варианты: закрыть путь к файлам в robots.txt (если файлы ещё не в индексе) или вынести документы на отдельный поддомен на обычном хостинге и закрыть уже там. Второй способ работает надёжнее.
Ольга
А как быть с картинками? Боюсь закрыть лишнее и потерять поиск по изображениям, у нас интернет-магазин мебели.
Роман
Уточнение по nginx: у меня в location для статики уже стоял add_header с Cache-Control, добавил X-Robots-Tag рядом — заработало. Если бы прописал в server, как я сначала сделал, ничего бы не вышло. Абзац про наследование сэкономил мне вечер.
Виктор Н.
Нашёл у себя в корне dump.sql на 80 мегабайт от переноса два года назад. Волосы дыбом. Файл был доступен по прямой ссылке всё это время.
Наталья
Подскажите, а unavailable_after реально работает? Хотела через неё убирать сезонные акции, но у нас в основном Яндекс.
Анатолий Кузнецов автор
В Google работает, у Яндекса поддержка не заявлена. Если основной трафик из Яндекса, полагаться на неё нельзя — акция так и останется в выдаче. Практичнее другое: не удалять и не закрывать страницу акции, а переписывать её под следующую. URL накапливает вес, а вы каждый раз начинаете не с нуля. Закрывать имеет смысл только тогда, когда предложение больше не повторится.
Павел
Проверил через инструмент в Вебмастере — заголовок отдаётся. А в индексе файл всё равно висит уже три недели. Сколько ждать?
Екатерина
У нас каталог оборудования в PDF даёт около четверти всех заходов из поиска. Чуть не закрыла его после разговора с прошлым подрядчиком, который сказал «файлы надо закрывать все». Хорошо, что сначала посмотрела статистику.
Тимур
Добавлю к чеклисту: у WordPress ещё бывают открыты /wp-json/ и папки старых тем с демо-контентом. У меня в индексе висели демо-страницы темы, которую я снёс полгода назад.