Как настроить robots.txt в WordPress для SEO и технической оптимизации

Если в WordPress не трогать robots.txt, поисковые роботы обычно и так справляются с сайтом. Проблемы начинаются, когда в файл добавляют лишние запреты, пытаются «закрыть от индексации» всё подряд или копируют чужой шаблон без понимания, что именно он делает. В результате можно случайно скрыть от обхода важные страницы, создать путаницу для поисковиков или вообще ничего не улучшить.

Для SEO и технической оптимизации robots.txt нужен не для магического «ускорения индексации», а для точечной настройки обхода: закрыть служебные разделы, не тратить краулинговый бюджет на мусорные URL и подсказать роботам, где лежит карта сайта. Это полезно, но только если файл составлен аккуратно.

Что robots.txt действительно делает в WordPress

robots.txt — это текстовый файл в корне сайта, по адресу https://site.ru/robots.txt. Его читают поисковые роботы перед обходом страниц. В WordPress этот файл может быть как физическим файлом на сервере, так и виртуальным, который генерирует сам движок, если файла нет.

Главная задача robots.txt — управлять обходом, а не гарантировать исключение из индекса. Это важное различие. Если URL уже известен поисковику, запрет в robots.txt не всегда уберёт его из выдачи. Для удаления из индекса обычно нужны другие инструменты: мета-тег robots с noindex, заголовок X-Robots-Tag или корректная настройка доступа к странице.

Поэтому robots.txt стоит использовать для служебных и технических разделов, а не как универсальную кнопку «не индексировать всё лишнее».

Какие директивы обычно нужны на WordPress-сайте

Базовый robots.txt для WordPress чаще всего состоит из нескольких понятных правил:

• User-agent: * — правило для всех роботов;
• Disallow для служебных URL, которые не должны обходиться;
• Sitemap — ссылка на XML-карту сайта;
• при необходимости — отдельные правила для конкретных роботов, если есть особая задача.

На практике полезно закрывать не контент, а технические и служебные адреса. Например, это может быть админка, внутренние скрипты, страницы поиска по сайту, если они создают много мусорных URL, или параметры, которые не несут ценности для поиска.

Типовой аккуратный вариант выглядит так:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Sitemap: https://example.com/sitemap_index.xml

Здесь /wp-admin/ закрывает административную часть, но admin-ajax.php оставляют доступным, потому что его используют темы и плагины на фронтенде. Строки с поиском по сайту нужны только если ваш сайт действительно генерирует индексируемые мусорные результаты поиска и вы понимаете, что именно закрываете.

Что можно закрыть, а что лучше не запрещать

Самая частая ошибка — закрывать в robots.txt то, что должно участвовать в обходе и ранжировании. Особенно это касается CSS, JavaScript и файлов, нужных для корректного рендеринга страницы. Современные поисковики используют ресурсы страницы при анализе, и если вы запретите важные файлы, робот может увидеть сайт не так, как видит пользователь.

Обычно имеет смысл закрывать:

• /wp-admin/ — административную часть;
• внутренний поиск, если он создаёт множество бесполезных URL;
• технические каталоги и служебные разделы, которые не должны обходиться;
• дублирующие параметры, если они действительно плодят мусорные страницы.

Обычно не стоит закрывать:

• /wp-content/uploads/, если там лежат изображения и медиа, которые должны быть доступны поиску;
• CSS и JS-файлы темы и плагинов;
• страницы, которые вы хотите убрать из индекса, но при этом дать роботам возможность увидеть мета-тег noindex или другой сигнал.

Если закрыть страницу в robots.txt, поисковик может не зайти на неё и не увидеть, что она должна быть удалена из индекса. В таких случаях запрет в robots.txt работает хуже, чем кажется.

Чего не стоит делать в robots.txt

Есть несколько типичных ошибок, которые я вижу на WordPress-сайтах чаще всего.

Не закрывайте весь сайт без причины

Строка Disallow: / полностью запрещает обход сайта для всех роботов. Это полезно только на временном staging-сайте или при закрытии проекта от индексации на этапе разработки. На рабочем сайте такая настройка почти всегда ошибка.

Не используйте robots.txt как замену noindex

Если нужно убрать из поиска отдельные страницы, архивы или служебные URL, robots.txt не всегда подходит. Для страниц, которые уже в индексе или должны корректно исчезнуть из него, лучше использовать noindex на уровне страницы или шаблона. Иначе вы просто запретите обход, но не решите задачу полностью.

Не копируйте чужие шаблоны без проверки

В интернете часто встречаются готовые robots.txt для WordPress с длинными списками запретов. Часть из них устарела, часть бесполезна, а часть может навредить именно вашему сайту. Например, если у вас нет некоторых плагинов или разделов, их запрет ничего не даст. Если же вы случайно закроете нужные ресурсы, можно ухудшить отображение страниц и диагностику в поисковых системах.

Как создать и изменить robots.txt в WordPress

Есть два рабочих сценария: через SEO-плагин или вручную на сервере. Какой выбрать, зависит от того, как у вас устроен сайт и есть ли доступ к файловой системе.

Через SEO-плагин

Если у вас уже стоит SEO-плагин, в нём часто есть встроенный редактор robots.txt. Это удобнее для владельца сайта: не нужно лезть по FTP и рисковать правами на файлы. Но важно понимать, что редактор плагина обычно управляет виртуальным robots.txt, а не физическим файлом на сервере. Если на сервере уже лежит свой robots.txt, он может иметь приоритет.

Перед сохранением проверьте, не добавляет ли плагин лишние директивы автоматически. Иногда редактор подставляет стандартные правила, которые не всегда нужны.

Вручную на сервере

Если нужен полный контроль, создайте или отредактируйте файл robots.txt в корне сайта. Это можно сделать через FTP, файловый менеджер хостинга или SSH, если он у вас есть. Для WordPress это самый прозрачный вариант: вы точно знаете, какой файл отдается роботам.

Перед изменением лучше сохранить копию текущего файла. Если что-то пойдёт не так, вы быстро вернёте рабочую версию.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml

Это минимальный и безопасный базовый вариант для большинства сайтов. Дальше вы добавляете только те запреты, которые действительно нужны вашему проекту.

Как проверить, что robots.txt работает правильно

После сохранения откройте /robots.txt в браузере и убедитесь, что файл доступен по нужному адресу без редиректов и ошибок. Если сайт работает на поддомене, с www или без него, проверьте именно ту версию домена, которую вы используете в sitemap и в поисковых системах.

Дальше проверьте три вещи:

1. Файл открывается и содержит актуальные правила.
2. В нём нет случайного Disallow: / или запрета важных разделов.
3. Ссылка на sitemap ведёт на реальный XML-файл.

Если у вас есть доступ к Google Search Console или Яндекс Вебмастеру, используйте их инструменты проверки robots.txt и URL. Это помогает увидеть, как поисковик интерпретирует правила, а не только как файл выглядит в браузере.

Отдельно стоит проверить, не конфликтует ли robots.txt с настройками плагинов SEO, кэша или безопасности. Иногда один плагин редактирует виртуальный файл, а другой подменяет ответ сервера, и в итоге вы видите не тот robots.txt, который ожидаете.

Практический вариант для большинства сайтов

Если сайт обычный: без сложной фильтрации, без большого количества технических поддоменов и без особых требований к краулингу, не усложняйте robots.txt. Достаточно закрыть админку, оставить доступ к ajax-обработчику и указать sitemap. Этого хватает в большинстве случаев.

Когда появляются мусорные URL, добавляйте точечные запреты, но только после анализа. Сначала посмотрите, какие адреса реально обходятся роботами и какие из них не нужны в поиске. Если запретить всё подряд, можно потерять полезный обход и усложнить диагностику.

Если вам нужен не только robots.txt, но и более глубокая чистка WordPress от дублей, служебных страниц и лишних SEO-следов, имеет смысл смотреть в сторону специализированных инструментов. Например, Clearfy Pro помогает навести порядок в технической части сайта, когда одной правкой robots.txt уже не обойтись.

Но сам robots.txt всё равно должен оставаться простым и предсказуемым. Его задача — не скрыть сайт от поисковиков, а аккуратно убрать лишнее из обхода и не мешать индексации того, что действительно важно.