Meta robots, X-Robots-Tag и robots.txt: как управлять индексацией без ошибок

Главная разница: сканирование и индексация - не одно и то же

Сканирование - это когда робот запрашивает URL и читает содержимое. Индексация - это когда поисковая система решает, можно ли хранить страницу в индексе и показывать её в выдаче.

robots.txt влияет на сканирование. Meta robots и X-Robots-Tag влияют на индексацию и показ в поиске. Поэтому нельзя считать, что Disallow в robots.txt надёжно удаляет страницу из выдачи.

Что выбрать: meta robots, X-Robots-Tag или robots.txt

Выбор зависит не от привычки, а от задачи. Ниже - практическая таблица, которую можно использовать при аудите сайта.

Meta robots: что это и когда использовать

Meta robots - это тег внутри HTML-кода страницы. Его размещают в секции head, чтобы дать поисковым роботам инструкции по индексации, переходу по ссылкам и отображению сниппетов.

<meta name="robots" content="noindex,follow">

Такой вариант говорит: страницу не нужно показывать в поиске, но ссылки на ней можно учитывать при обходе. На практике это может применяться к служебным страницам, внутреннему поиску, фильтрам, временным акциям или страницам, которые не должны собирать поисковый трафик.

Основные директивы meta robots и X-Robots-Tag

Не нужно использовать все директивы подряд. В большинстве SEO-задач достаточно понимать несколько ключевых команд.

X-Robots-Tag: когда нужен HTTP-заголовок

X-Robots-Tag нужен, когда директиву удобнее или возможно задать только на уровне HTTP-ответа. Это особенно полезно для PDF-документов, изображений, видео, архивов, офисных файлов и массовых правил по расширениям.

Если на сайте есть коммерческие PDF, прайсы, инструкции, закрытые документы или файлы, которые не должны попадать в поиск, стоит проверить их индексацию отдельно. Подробнее смежную тему можно усилить материалом SEO для PDF-файлов.

Пример для Apache

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

Пример для Nginx

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

robots.txt: что он делает и чего не делает

Файл robots.txt находится в корне сайта и сообщает роботам, какие разделы можно сканировать, а какие нет. Он полезен для управления обходом технических разделов, параметров, корзины, личного кабинета, внутреннего поиска и дублей.

Но robots.txt не является полноценным инструментом запрета индексации. Если URL закрыт от сканирования, поисковая система может знать о нём по ссылкам и показывать в выдаче без нормального сниппета.

User-agent: *
Disallow: /cart/
Disallow: /search/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.ru/sitemap.xml

Для тонкой настройки полезно понимать и смежные директивы. Например, для управления частотой обхода Яндекса можно изучить материал про crawl-delay в robots.txt.

Как проверить meta robots, X-Robots-Tag и robots.txt

Проверка должна идти не только глазами в коде страницы. Иногда noindex приходит из плагина, темы, CDN, серверного правила, заголовка, staging-настройки или шаблона CMS.

Быстрая проверка через curl

curl -I https://example.ru/page/
curl -I -A "Googlebot" https://example.ru/page/
curl -I https://example.ru/file.pdf

Примеры плохого и хорошего варианта

robots.txt:
Disallow: /services/seo/

HTML:
<meta name="robots" content="noindex">

robots.txt:
Allow: /old-page/

HTML:
<meta name="robots" content="noindex,follow">

Частые ошибки, которые вредят SEO

Что спросить у SEO-подрядчика или разработчика

Эти вопросы помогут быстро понять, контролирует ли специалист техническую часть, а не просто «закрывает страницы по шаблону».

1. Какие типы страниц должны индексироваться, а какие нет?
2. Где именно стоит noindex: в HTML, HTTP-заголовке, плагине, теме, CDN или серверной конфигурации?
3. Есть ли конфликт между robots.txt и meta robots?
4. Какие страницы исключены из индекса и почему?
5. Есть ли в sitemap страницы с noindex, редиректами, дублями или ошибками?
6. Как будет проверяться результат после изменений?
7. Что может сломаться после обновления CMS, темы, плагинов или серверной конфигурации?

Честно: проблема индексации не всегда в robots

Если страница плохо индексируется или не даёт трафик, причина может быть не только в meta robots, X-Robots-Tag или robots.txt.

Иногда страница технически открыта, но у неё слабый контент, нет спроса, плохой оффер, дублирующая структура, нет внутренних ссылок, слабая коммерческая ценность или низкая скорость загрузки. В B2B и услугах дополнительно влияют цена, доверие, обработка заявок, сезонность и качество продаж.

Поэтому технический аудит лучше связывать с коммерческой структурой страницы. Для комплексной работы по таким задачам можно посмотреть услугу SEO-продвижение сайта.

Условный пример диагностики

Это не реальный кейс, а типовая ситуация для понимания логики проверки.

HTTP/2 200
X-Robots-Tag: noindex, nofollow

Как действовать после обнаружения ошибки

Связь с другими SEO-настройками

Meta robots и X-Robots-Tag не работают в вакууме. Их нужно сопоставлять с canonical, sitemap, редиректами, внутренними ссылками, пагинацией и мобильной версией.

Например, если страница открыта для индексации, но указывает canonical на другой URL, поисковая система может выбрать другую каноническую страницу. Если страница есть в sitemap, но закрыта noindex, это сигнал о несогласованности. Смежный материал по теме - cross-domain canonical.

FAQ: частые вопросы

Вывод

Meta robots, X-Robots-Tag и robots.txt - это не взаимозаменяемые инструменты. Meta robots подходит для HTML-страниц, X-Robots-Tag - для HTTP-заголовков и файлов, robots.txt - для управления сканированием.

Самая частая ошибка - закрыть URL от обхода и одновременно ждать, что поисковик прочитает запрет индексации. Чтобы не терять трафик, проверяйте директивы комплексно: HTML, HTTP-заголовки, robots.txt, sitemap, canonical и данные в инструментах вебмастера.