SEO / CRAWLING

Генератор и проверка robots.txt

Безопасные пресеты, понятный редактор правил и локальная проверка типичных ошибок — без опасного обещания "закрыть страницу от индексации".

  • 01Безопасные пресеты
  • 02Проверка синтаксиса
  • 03Тестер пути
  • 04TXT-экспорт

WORKSPACE / ROBOTS

Готов к работе
Отдельные правила для роботов
—

    Локальная ориентировочная проверка для User-agent: *.

    GUIDE / SEO

    Как получить корректный результат

    Что контролирует robots.txt

    Файл управляет обходом URL поддерживающими его роботами, но не является авторизацией и не гарантирует удаление URL из поиска. Для закрытия конфиденциальных данных нужна настоящая аутентификация.

    Где разместить файл

    Опубликуйте robots.txt в корне конкретного протокола и хоста, например https://example.ru/robots.txt. Ссылка Sitemap должна быть абсолютной, включая протокол и домен.

    Почему нельзя закрывать CSS и JavaScript

    Поисковому роботу часто нужны ресурсы страницы для корректного рендеринга. Без причины блокировать общие каталоги со стилями, скриптами и изображениями не стоит.

    FAQ / КОРОТКО

    Частые вопросы

    Можно ли через robots.txt удалить страницу из поиска?

    Нет. Запрет обхода может оставить URL в индексе без содержимого. Используйте noindex на доступной роботу странице или ограничьте доступ авторизацией.

    Нужен ли пустой Disallow?

    Нет, но запись User-agent: * и Disallow: означает, что обход не запрещён. Генератор использует понятный Allow: / для открытого пресета.

    Поддерживает ли Google Crawl-delay?

    Google его не поддерживает, поэтому генератор не добавляет эту директиву в стандартный пресет.