Если в WordPress нужно быстро и без лишнего риска настроить robots.txt, начинать стоит не с «идеального» файла, а с понятной минимальной схемы: что разрешать, что закрывать и чего в robots.txt вообще лучше не трогать. Ошибка здесь обычно одна и та же — в файл добавляют слишком много правил, а потом случайно прячут от поисковиков важные страницы или, наоборот, оставляют открытыми служебные разделы.
Для WordPress robots.txt нужен не для магии с ранжированием, а для управления обходом: подсказать роботам, какие URL не стоит тратить на служебные страницы, параметры и служебные каталоги. Если сделать это аккуратно, сайт станет чище для обхода, а риск случайно закрыть нужное — минимальным.
Что должно быть в robots.txt для WordPress по умолчанию
Для большинства сайтов достаточно очень простой логики: не закрывать то, что должно индексироваться, и ограничить только служебные разделы. В WordPress чаще всего имеет смысл контролировать такие области, как административная часть, системные файлы и технические URL, которые не нужны в поиске.
Базовый файл обычно выглядит так:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xmlЗдесь есть три важных момента. User-agent: * означает правило для всех роботов. Disallow: /wp-admin/ закрывает административный раздел. Allow: /wp-admin/admin-ajax.php оставляет доступ к AJAX-обработчику, который нужен многим темам и плагинам на публичной части сайта. Строка Sitemap помогает поисковикам быстрее найти карту сайта, если она у вас есть.
Если карта сайта генерируется SEO-плагином, указывайте именно её реальный адрес. Не нужно писать несколько sitemap-адресов «на всякий случай», если вы не уверены, что они действительно существуют и актуальны.
Что обычно закрывают, а что лучше не трогать
В robots.txt закрывают не страницы сайта как таковые, а пути, которые не должны расходовать краулинговый бюджет и не несут пользы в поиске. Для WordPress это чаще всего административные и технические URL.
Обычно можно закрывать:
/wp-admin/— административную панель;- служебные каталоги и файлы, если они реально не нужны в поиске;
- внутренние параметры и технические страницы, если вы точно понимаете, что делаете.
А вот закрывать в robots.txt сам сайт, важные разделы, записи, страницы, рубрики или медиафайлы без веской причины не стоит. Если вы запретите обход нужных URL, поисковик может перестать их нормально переобходить и обновлять. Особенно неприятно это выглядит после редизайна, смены структуры или переноса сайта.
Отдельно стоит помнить: robots.txt не защищает контент от доступа пользователей. Это не механизм безопасности, а инструкция для роботов. Если нужно скрыть данные, используйте авторизацию, права доступа или другие реальные ограничения, а не robots.txt.
Какой файл использовать в WordPress: встроенный или физический
В WordPress robots.txt может быть виртуальным или физическим. Если в корне сайта лежит реальный файл robots.txt, поисковики будут читать его. Если файла нет, WordPress может отдать виртуальный вариант через систему перезаписи. На практике это означает простую вещь: если вы создали физический файл в корне сайта, он обычно имеет приоритет.
Для большинства владельцев сайта удобнее и понятнее именно физический файл в корне. Его проще проверить, скачать и отредактировать через FTP, файловый менеджер хостинга или панель управления. Но если хостинг ограничивает доступ к корню, иногда приходится работать через SEO-плагин или встроенные инструменты.
Если вы редактируете файл вручную, делайте это аккуратно: одна лишняя строка может закрыть больше, чем вы планировали. Перед изменениями лучше сохранить текущую версию файла, чтобы быстро откатиться назад.
Практическая схема настройки без лишних рисков
Если задача — сделать рабочий robots.txt для обычного WordPress-сайта, я бы шёл по такой схеме.
- Проверьте, есть ли уже файл
robots.txtв корне сайта. - Посмотрите, не закрывает ли он случайно важные разделы.
- Оставьте минимальный набор правил: административный каталог, при необходимости
admin-ajax.php, строку с картой сайта. - Не добавляйте запреты на контентные разделы без конкретной причины.
- После сохранения проверьте файл в браузере и через инструменты для вебмастеров.
Если у вас уже есть SEO-плагин, он может генерировать собственный robots.txt или давать интерфейс для его редактирования. В этом случае важно понять, какой источник правил фактически используется: плагин, физический файл или оба сразу. Дублирование настроек часто приводит к путанице, когда в интерфейсе одно, а поисковик видит другое.
Частые ошибки, из-за которых сайт закрывают слишком сильно
Самая распространённая ошибка — копировать robots.txt с чужого сайта без понимания, что именно делает каждая строка. У WordPress-сайтов структура может быть похожей, но набор плагинов, карта сайта и служебные URL отличаются.
Ещё одна типичная проблема — слишком широкие правила. Например, если закрыть не только /wp-admin/, но и весь каталог с ошибочной логикой, можно задеть нужные публичные URL. Или добавить запрет на корень сайта и потом удивляться, почему поисковики перестали обходить страницы.
Отдельно стоит упомянуть ошибку с картой сайта. В robots.txt указывают не любой XML-файл, который удалось найти, а именно актуальный sitemap, который реально отдаёт ваш сайт. Если карта сайта изменилась после установки плагина или миграции, старый адрес лучше убрать.
Наконец, не стоит пытаться через robots.txt решить задачи, для которых он не предназначен: убрать дубли, скрыть контент от пользователей, исправить проблемы с canonical или запретить индексацию конкретной страницы. Для этого есть другие инструменты, а robots.txt работает только на уровне обхода.
Как проверить, что robots.txt настроен правильно
После сохранения файла откройте https://ваш-домен/robots.txt в браузере. Если файл доступен, вы увидите его содержимое. Это самый простой способ убедиться, что сервер отдаёт именно тот вариант, который вы редактировали.
Дальше проверьте три вещи:
- нет ли в файле случайного запрета на важные разделы;
- есть ли строка с картой сайта и правильный ли у неё адрес;
- не дублируются ли правила из разных источников.
Если вы используете инструменты для вебмастеров поисковой системы, там обычно можно проверить, как робот видит файл robots.txt и не блокирует ли он нужные URL. Это особенно полезно после переноса сайта, смены плагина или редактирования через хостинг-панель.
Если после правок сайт стал хуже обходиться или в отчётах появились неожиданные блокировки, первым делом верните предыдущую версию файла и сравните изменения построчно. В robots.txt почти всегда проще найти проблему в одном лишнем символе, чем в «логике» файла.
Когда лучше не усложнять файл
Если сайт обычный: несколько разделов, стандартный WordPress, одна карта сайта и нет нестандартной технической архитектуры, robots.txt должен быть коротким. Чем меньше в нём правил, тем ниже шанс ошибиться. На практике это часто лучший вариант для небольших и средних сайтов.
Сложные наборы директив нужны только тогда, когда у вас есть понятная причина: много служебных URL, нестандартная структура, отдельные технические разделы или специфические требования к обходу. Если такой причины нет, минимальный файл работает надёжнее, чем перегруженный.
Для WordPress это особенно актуально: сайт и так генерирует много системных URL, а лишние запреты в robots.txt легко создают проблемы, которые потом приходится разбирать уже не в файле, а в индексации и обходе. Поэтому безопасная стратегия простая — закрыть только то, что действительно служебное, и не трогать контент без необходимости.