Техническая SEO оптимизация сайта

Техническая SEO оптимизация сайта — тот самый фундамент, без которого не работает всё остальное: ссылки, ведущие на непроиндексированную страницу, не дают ничего, а тексты на сайте с ответом сервера в две секунды не дают почти ничего. При этом половина технических проблем чинится за час, стоит ноль рублей и не требует ни закупки ссылок, ни переписывания контента. Парадокс в том, что именно эту работу откладывают: она невидима в отчёте и её трудно продать как результат.

В SEO я с 2005 года и веду технические проверки в одном и том же порядке — от того, что чинится за час, до того, на что уходят недели. Порядок здесь не формальность: работа не в той последовательности почти всегда оказывается потерянным временем. Ниже — шесть уровней, инструменты для каждого и реалистичные сроки.

Уровень 1: доступность

Первый уровень отвечает на единственный вопрос: может ли поисковый робот вообще увидеть ваши страницы. Пока ответ отрицательный, все остальные работы бессмысленны.

robots.txt

Откройте адрес вида site.ru/robots.txt в браузере и прочитайте файл целиком — он короткий. Что искать:

• Строку Disallow: / — она закрывает от индексации весь сайт. Самая частая причина внезапного исчезновения из поиска: файл остался с этапа разработки, где сайт закрывали намеренно.
• Запреты на важные разделы, оставшиеся от прежнего подрядчика или от старой структуры.
• Указание адреса карты сайта директивой Sitemap.
• Директиву Clean-param для параметров, создающих дубли, — для Яндекса это основной способ борьбы с метками.
• Техническое SEO

Метатег robots

В исходном коде важных страниц не должно быть конструкции с content=»noindex». Проверяется через просмотр кода страницы и поиск по слову noindex. Это вторая по частоте причина выпадения из индекса, и коварна она тем, что в robots.txt всё выглядит нормально.

Коды ответов сервера

Рабочие страницы отдают 200, несуществующие — 404. Отдельно проверьте, что несуществующий адрес не отдаёт код 200 со словами «страница не найдена»: такие мягкие ошибки засоряют индекс сотнями бессмысленных страниц. Проверить можно любым сервисом проверки заголовков или командой curl с ключом -I.

Карта сайта

Есть, открывается по прямому адресу, указана в robots.txt, содержит только страницы с кодом 200 и обновляется автоматически при добавлении материалов. Карта с сотней страниц, отдающих 404, приносит больше вреда, чем её отсутствие.

Страницы в поиске

В Вебмастере сравните количество проиндексированных страниц с реальным количеством на сайте. Расхождение больше 20–30% в любую сторону требует разбора: недобор означает проблемы с индексацией, перебор — дубли и мусор.

Уровень 2: дубли и адреса

Самая недооценённая часть технической работы. Правило одно: одна страница должна быть доступна ровно по одному адресу. На интернет-магазине с фильтрами дублей бывает в десятки раз больше, чем реальных страниц, и весь внутренний вес размывается по копиям.

Вариант адреса	Как должно быть	Чем чинится
http и https	Всё уходит на https	301 в конфигурации сервера
www и без www	Один вариант, второй перенаправляет постранично	301, плюс указание главного зеркала
Слэш на конце и без него	Один вариант	301 в .htaccess или nginx
/index.php, /index.html	Перенаправление на корень раздела	301
Заглавные и строчные буквы	Один регистр	Приведение к нижнему регистру с 301
Адреса с метками utm и прочими	Не индексируются отдельно	Clean-param в robots.txt плюс canonical
Сортировки и фильтры	Canonical на основную страницу либо запрет	Canonical, реже noindex
Пагинация	Уникальные title, canonical на себя	Правки шаблона
Страницы вложений и медиафайлов	Закрыты или перенаправлены	Настройка CMS

Проверка вручную занимает десять минут: откройте главную по каждому из вариантов адреса и посмотрите, что происходит в адресной строке. Если страница открывается и остаётся по введённому адресу — перед вами дубль. Массовые дубли ищутся краулером: он обходит сайт и показывает страницы с одинаковыми title и description, а это почти всегда одно и то же содержимое.

Уровень 3: скорость

Скорость складывается из двух разных вещей, которые постоянно путают, из-за чего оптимизируют не то.

Тему разбирал отдельно: «Оптимизация сайта под мобильные устройства».

Время ответа сервера. Замеряется одной командой:

curl -o /dev/null -s -w "%{time_starttransfer}\n" https://site.ru/

Помогу с продвижением: продвижение сайта с гарантией результата — вывожу сайты в топ Яндекса белыми методами.

До 0,5 секунды — норма. Больше секунды означает, что причина в хостинге, тяжёлых запросах к базе или отсутствии кеширования. В этой ситуации оптимизация картинок не поможет вообще: браузер ещё не получил первый байт, а вы уже сжимаете изображения.

Как тексты встраиваются в общую механику продвижения:

14:31

Скорость отрисовки. Зависит от объёма стилей и скриптов, формата изображений, шрифтов и порядка загрузки. Проверяется в PageSpeed Insights, но смотреть надо не на итоговый балл, а на конкретные пункты в списке рекомендаций и на данные реальных посетителей.

Что даёт наибольший выигрыш по моей практике, в порядке убывания:

• Кеширование страниц — обычно ускорение вдвое и больше, особенно на сайтах с системой управления, которая собирает страницу заново на каждый запрос.
• Обновление версии PHP — 20–40% прироста без единой правки кода. Работа на полчаса вместе с проверкой совместимости.
• Изображения в webp с указанными в коде размерами — сокращает вес и убирает сдвиги вёрстки.
• Критический CSS: стили первого экрана встроены в страницу, остальное подгружается отложенно.
• Сторонние скрипты после основной загрузки: счётчики, чаты, виджеты не должны блокировать отрисовку.
• Снятие лишних плагинов — на типичном сайте половина установленных расширений не используется, а стили и скрипты подключает каждое.
• Техническое SEO

Уровень 4: мобильная версия

Больше половины визитов приходит со смартфонов, и оценивается сайт в первую очередь по мобильной версии. Проверять надо не абстрактное «адаптивен ли шаблон», а конкретные страницы на реальном телефоне — эмулятор в браузере показывает не всё.

• Текст читается без увеличения: основной шрифт от 16 пикселей.
• Таблицы прокручиваются внутри своего блока, а не разъезжают страницу по горизонтали.
• Кнопки нажимаются пальцем: размер около 44 пикселей, между соседними есть отступ.
• Телефон виден в первом экране и кликабелен — на мобильных это основной способ обращения.
• Меню открывается и закрывается, не перекрывая содержимое и не блокируя прокрутку.
• Формы удобны: правильные типы полей, чтобы на телефоне открывалась цифровая клавиатура для номера и почтовая для адреса.
• Виджет чата не закрывает кнопку заказа и не всплывает поверх формы.
• Нет горизонтальной прокрутки страницы целиком.
• Техническое SEO

Горизонтальная прокрутка — самая частая находка. Причина обычно в одном элементе: широкой таблице, картинке с фиксированной шириной или блоке с отрицательным отступом. Ищется просмотром страницы на телефоне сверху вниз.

Смежный материал по теме — «Внутренняя SEO оптимизация сайта».

Уровень 5: разметка и структура

Уровень, на котором сайт объясняет поисковой системе, что именно на нём находится.

• Один H1 на страницу, дальше H2 и H3 по иерархии без пропусков уровней. Заголовки — это оглавление страницы, а не способ сделать текст крупнее.
• Уникальные title и description на каждой странице. Одинаковые метатеги на сотне страниц — прямой сигнал о дублях.
• Атрибут alt у изображений — описание того, что на картинке, а не перечисление запросов. Перечисление здесь работает так же, как в тексте: как признак переспама.
• Микроразметка — влияет на вид строки в выдаче и на понимание содержимого.
• Open Graph для корректного вида ссылки при отправке в мессенджерах и соцсетях.
• Техническое SEO

Тип разметки	Где нужна	Что даёт в выдаче
Organization	Главная страница, контакты	Данные компании в карточке организации
BreadcrumbList	Все внутренние страницы	Путь по разделам вместо голого адреса
Product	Карточки товаров	Цена и наличие прямо в строке результата
FAQPage	Страницы с блоком вопросов	Раскрывающиеся вопросы под ссылкой
Article	Материалы блога	Дата и автор, попадание в тематические блоки
Review и AggregateRating	Страницы с отзывами	Звёзды рейтинга при выполнении требований

Проверяется разметка валидатором Яндекса и аналогичным инструментом Google: оба показывают ошибки построчно и бесплатны.

Уровень 6: внутренние ссылки

Уровень, который смотрят реже всего, а отдача от него одна из самых высоких при нулевой стоимости. Проверять надо два показателя.

Страницы-сироты — те, на которые не ведёт ни одна внутренняя ссылка. Они получают минимум внутреннего веса и обходятся роботом реже остальных. На одном блоге я находил 630 таких страниц из 1900 — треть материалов существовала сама по себе и не участвовала в жизни сайта вовсе.

Битые ссылки — ведущие на удалённые или переименованные страницы. На том же блоге их набралось 328. Каждая такая ссылка — потерянный переход и потерянный вес.

Оба списка получаются одним обходом краулера: он строит карту внутренних ссылок и показывает страницы без входящих, а также все ответы с кодом 404. Исправление стоит ноль рублей и по эффекту сопоставимо с закупкой ссылок на приличную сумму — с той разницей, что риска санкций здесь нет.

Если нужна помощь по теме — разработка сайта под ключ.

После исправления есть смысл выстроить перелинковку осмысленно: блок ссылок на смежные материалы в конце каждой страницы, ссылки по ходу текста там, где деталь раскрыта отдельно, и ссылки из информационных материалов на коммерческие страницы. Это распределяет вес туда, где он приносит деньги.

Чем проверять

Полный набор инструментов для технического аудита небольшого сайта укладывается в один бесплатный комплект.

Если нужны детали, смотрите «Оптимизация навигации сайта».

Инструмент	Что показывает	Цена
Яндекс Вебмастер	Индексация, ошибки, дубли, входящие ссылки, запросы	Бесплатно
Screaming Frog	Обход сайта, коды ответов, заголовки, битые ссылки, сироты	До 500 страниц бесплатно
Netpeak Spider	То же плюс готовые отчёты по ошибкам	Платно, есть пробный период
PageSpeed Insights	Скорость отрисовки и данные реальных посетителей	Бесплатно
Валидатор микроразметки Яндекса	Ошибки в разметке построчно	Бесплатно
curl	Время ответа сервера, коды, цепочки редиректов	Бесплатно
Яндекс Метрика	Отказы, глубина, карты прокрутки и кликов	Бесплатно

Порядок работ и почему его нельзя нарушать

Проверять и исправлять надо строго в описанной последовательности: доступность, затем дубли, затем скорость, затем мобильная версия, затем разметка, затем внутренние ссылки. Причина не в аккуратности, а в том, что работа не в том порядке даёт нулевой результат при полных затратах.

• Микроразметка на непроиндексированной странице бесполезна: её никто не увидит.
• Оптимизация изображений при ответе сервера в две секунды почти незаметна на общем времени загрузки.
• Внутренняя перелинковка на сайте с дублями размывает вес по копиям, а не собирает его.
• Работа над мобильной версией на сайте, закрытом от индексации, не даст трафика в принципе.
• Написание текстов на страницы, которые отдают 404 по одному из вариантов адреса, — работа в стол.
• Техническое SEO

Именно поэтому на консультациях я всегда начинаю с первого уровня, даже если владелец пришёл с вопросом про тексты или ссылки. Проверка занимает двадцать минут, а находится там нередко то, что объясняет весь застой целиком.

Сколько времени занимает

Реалистичные сроки по уровням для сайта на несколько сотен страниц. Проверка и исправление разделены намеренно: проверка почти всегда быстрая, а вот исправление зависит от того, кто им занимается и насколько запущен сайт.

Уровень	Проверка	Исправление
Доступность	15–20 минут	От нескольких минут до дня
Дубли и адреса	20–30 минут	1–3 дня
Скорость	10 минут	1–5 дней
Мобильная версия	20 минут	От дня до недели
Разметка и структура	Около часа	2–5 дней
Внутренние ссылки	Около часа	Несколько дней

Итого полный технический аудит небольшого сайта — три-четыре часа проверки и одна-две недели исправлений. Это самая дешёвая по трудозатратам работа в продвижении и одновременно самая предсказуемая по отдаче: в отличие от текстов и ссылок, здесь заранее понятно, что именно сломано и что даст исправление.

По срокам появления результата ориентир такой: изменения в индексации видны через две-три недели после переобхода, рост показов — через полтора-два месяца. Быстрее всего отзывается доступность: страницы, вышедшие из-под noindex, возвращаются в поиск за считанные дни.

Частые вопросы

С чего начать, если сайт большой и всё запущено? С первого уровня и только с него. Проверьте robots.txt, метатег noindex на десятке важных страниц, коды ответов и карту сайта. Это двадцать минут, и результат этой проверки определяет, имеет ли смысл делать что-то ещё в ближайший месяц.

Нужен ли отдельный подрядчик под техническую часть? Проверку вы проведёте сами по списку выше — она не требует квалификации, только внимательности. Исправления делятся надвое: часть меняется в настройках CMS без разработчика, часть требует правки шаблона или конфигурации сервера. Разумно провести аудит самому и отдать разработчику готовый список задач.

Как понять, что проблема техническая, а не в контенте? Признак технической проблемы — расхождение между тем, сколько страниц на сайте, и тем, сколько в индексе, либо резкое падение без изменений в контенте. Признак контентной — страницы в индексе есть, показы идут, а позиции стоят на месте по всему ядру.

Как часто повторять технический аудит? Полную проверку — раз в полгода, а также после любого обновления сайта, смены хостинга, переезда на новый шаблон или обновления CMS. Именно эти события ломают технику чаще всего. Быструю проверку доступности имеет смысл делать раз в месяц.

Влияет ли техническая часть на позиции напрямую? Сама по себе — почти нет, за исключением скорости и мобильной версии, которые входят в оценку качества. Но она определяет, работает ли всё остальное. Технически исправный сайт без контента в топ не выйдет, а сайт с прекрасным контентом и закрытой индексацией не выйдет тем более.

Что делать, если после исправлений ничего не изменилось? Проверить, что робот действительно обошёл изменённые страницы: в Вебмастере видна дата последнего посещения. Если обход был, а результата нет — значит техника не была узким местом, и причину надо искать в спросе, содержании страниц или конкурентности запросов.

Коротко

• Техника сама по себе позиций не даёт, но без неё не работает ни контент, ни ссылки.
• Начинать всегда с доступности: robots.txt, метатег noindex, коды ответов, карта сайта, число страниц в индексе.
• Дубли — самая недооценённая проблема, особенно в магазинах с фильтрами и сортировками.
• Ответ сервера дольше секунды не лечится оптимизацией картинок: сначала кеширование, версия PHP и хостинг.
• Страницы-сироты и битые ссылки исправляются бесплатно и дают эффект, сопоставимый с закупкой ссылок.
• Порядок работ жёсткий: разметка на непроиндексированном сайте и перелинковка на сайте с дублями — потерянное время.
• Техническое SEO

Если прошли по списку и не понимаете, что из найденного критично, а что подождёт, приходите на SEO-консультацию — разберём результаты проверки вместе и составим список задач разработчику по приоритету.