Если вы развиваете свой бизнес в интернете, то наверняка слышали о SEO-продвижении. А в мире SEO есть один маленький, но очень важный файл — robots.txt. На первый взгляд, это что-то для программистов, но на самом деле разобраться в нём должен каждый владелец сайта. Сегодня мы простыми словами разберём, что такое robots.txt и для чего он нужен, как он помогает вашему бизнесу расти и как избежать досадных ошибок, которые могут стоить вам клиентов.
Представьте, что ваш сайт — это большой торговый центр. А поисковые роботы Google и Яндекса — это посетители, которые ходят по нему, изучают витрины (страницы) и решают, какие из них самые интересные и достойны внимания других людей (поисковой выдачи). Так вот, robots.txt — это табличка с правилами на входе. На ней написано: «Сюда можно, в служебные помещения — нельзя, а вот тут лежит план всего здания». Этот файл — ваша первая линия общения с поисковыми системами. И от того, насколько грамотно составлены эти инструкции, зависит, как быстро и правильно поисковики поймут суть вашего сайта.
Основные задачи robots.txt: на что он влияет?
Многие думают, что этот файл нужен только для того, чтобы что-то запрещать. На самом деле его функции гораздо шире, и все они напрямую влияют на ваше SEO-продвижение.
Управление индексацией: скрываем от поисковиков ненужные страницы
На любом сайте есть технические и служебные разделы, которые не должны видеть ваши потенциальные клиенты в поиске. Это, например:
- Страницы входа в админку сайта.
- Результаты внутреннего поиска по сайту (
/search?q=...). - Страницы корзины, оформления заказа, личные кабинеты пользователей.
- Технические дубли страниц (например, версии для печати).
Если всё это попадёт в поисковую выдачу, она станет «замусоренной». Пользователи будут попадать не на карточки товаров, а на чужие корзины. Robots.txt позволяет вежливо попросить поисковых роботов даже не заходить в эти разделы.
Экономия краулингового бюджета: направляем роботов на самое важное
У поисковых систем есть лимит на количество страниц, которые они могут обойти на вашем сайте за один визит. Это называется краулинговый бюджет. Особенно это актуально для крупных интернет-магазинов с тысячами товаров.
Представьте, что к вам в магазин приехал тайный покупатель, у которого есть всего 15 минут. Вы же не отправите его изучать склад и подсобку? Вы покажете ему лучшие витрины. Так и с роботами: закрывая доступ к мусорным страницам, вы направляете их внимание на самые важные — карточки товаров, категории, статьи в блоге.
Это помогает ускорить индексацию новых товаров и важных изменений на сайте. Робот не тратит время на бесполезные страницы и быстрее находит то, что действительно нужно показать пользователям.
Предотвращение появления дублей контента
Поисковики не любят, когда один и тот же контент доступен по разным URL-адресам. Для них это признак некачественного сайта. Дубли часто создаются автоматически: из-за фильтров в каталоге, параметров сортировки или UTM-меток. Robots.txt помогает закрыть от индексации страницы с такими параметрами, оставляя в поиске только одну, каноническую версию.
Указание пути к карте сайта для быстрой индексации
Одна из важнейших функций robots.txt — сообщить поисковому роботу, где лежит ваша Sitemap.xml (карта сайта). Это как дать гостю план здания. Робот сразу видит структуру вашего ресурса и все важные страницы, которые нужно обойти. Это значительно ускоряет процесс индексации, особенно для новых сайтов.
Анатомия файла: из каких команд состоит robots.txt
Файл robots.txt — это простой текстовый документ, состоящий из набора правил, которые называются директивами. Давайте разберём основные из них.
Директива User-agent: для каких поисковых роботов созданы правила
Эта команда указывает, какому именно роботу адресованы следующие за ней правила. У каждого поисковика свой робот:
Googlebot— основной робот Google.Yandex— основной робот Яндекса.*(звёздочка) — правило для всех роботов сразу.
Чаще всего предприниматели используют *, чтобы не писать отдельные инструкции для каждой поисковой системы.
User-agent: * # Правила ниже будут применяться ко всем поисковым роботамДирективы Disallow и Allow: как правильно запрещать и разрешать доступ
Это сердце файла robots.txt.
Disallow(запретить) — указывает роботу, какие разделы или страницы сайта сканировать не нужно.Allow(разрешить) — используется реже, в основном чтобы сделать исключение внутри запрещённого раздела.
Примеры использования:
- Запретить доступ ко всему сайту (опасно!):
Disallow: / - Запретить доступ к административной панели:
Disallow: /admin/ - Запретить доступ к страницам поиска:
Disallow: /search/ - Разрешить доступ к одной важной странице внутри закрытого каталога (пример для продвинутых):
Disallow: /private/
Allow: /private/important-page.html
Директива Sitemap: помогаем поисковикам найти все страницы
Это простая, но критически важная строка. Она указывает полный путь к вашей карте сайта. Поисковый робот, зайдя в robots.txt, сразу видит эту ссылку и отправляется изучать структуру вашего сайта.
Sitemap: https://vash-site.ru/sitemap.xml
В файле может быть несколько карт сайта, если у вас большой портал.
| Директива | Назначение | Пример использования |
|---|---|---|
User-agent |
Указывает, для какого робота предназначены правила | User-agent: Yandex |
Disallow |
Запрещает сканирование каталога или страницы | Disallow: /cart/ |
Allow |
Разрешает сканирование внутри запрещенного каталога | Allow: /wp-admin/admin-ajax.php |
Sitemap |
Указывает путь к карте сайта | Sitemap: https://site.com/sitemap.xml |
Готовые примеры robots.txt для малого бизнеса
Вам не нужно быть программистом, чтобы составить правильный robots.txt. Вот несколько готовых шаблонов, которые подойдут для большинства сайтов.
Шаблон для сайта на WordPress
WordPress — самая популярная CMS, и для неё есть стандартный набор правил. Важно закрыть ядро системы и админку, но разрешить роботу доступ к файлам, которые отвечают за отображение сайта.
User-agent: *Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.php# Закрываем служебные файлы ядраDisallow: /wp-includes/Disallow: /wp-content/plugins/Disallow: /wp-content/themes/# Закрываем страницы поиска и трекбекиDisallow: /search/Disallow: /trackback/Sitemap: https://vash-wordpress-site.ru/sitemap.xmlПример для небольшого интернет-магазина
Здесь ключевая задача — закрыть корзину, страницы оформления заказа и результаты фильтрации товаров, чтобы не создавать дубли.
User-agent: *# Закрываем служебные страницыDisallow: /cart/Disallow: /checkout/Disallow: /my-account/Disallow: /order/# Закрываем страницы, создаваемые фильтрами и сортировкойDisallow: *?sort=Disallow: *?price_filter=Disallow: *?brand=Sitemap: https://vash-magazin.ru/sitemap.xmlБазовый вариант для сайта-визитки
Для простого сайта с несколькими страницами (О нас, Услуги, Контакты) достаточно минимального robots.txt, который просто указывает на карту сайта.
User-agent: *Disallow:Sitemap: https://vash-sait-vizitka.ru/sitemap.xmlЗдесь пустой Disallow означает, что запрещать ничего не нужно.
Как найти и проверить корректность своего robots.txt
Создать файл — это полдела. Важно убедиться, что он доступен поисковикам и не содержит ошибок.
Где должен располагаться файл на сайте
Файл robots.txt должен находиться в корневой папке вашего сайта. Вы всегда можете проверить его наличие, набрав в браузере адрес: https://vash-site.ru/robots.txt. Если открывается текстовый файл с директивами — всё в порядке. Если видите ошибку 404 — файла нет или он лежит не там, где нужно.
Анализ файла с помощью Яндекс.Вебмастера
Это бесплатный и очень удобный инструмент.
- Зайдите в Яндекс.Вебмастер.
- Перейдите в раздел «Инструменты» → «Анализ robots.txt».
- Система автоматически загрузит ваш текущий файл.
- Вы можете проверить, не заблокирована ли какая-то важная страница, введя её URL в специальное поле. Вебмастер покажет, разрешён или запрещён к ней доступ.
Проверка через Google Search Console
Аналогичный инструмент есть и у Google.
- Откройте Google Search Console.
- Перейдите в раздел «Настройки» → «Сканирование» → «Инструмент проверки файла robots.txt».
- Сервис покажет вам содержимое файла и подсветит возможные ошибки.
Распространенные ошибки, которые вредят сайту
Неправильно настроенный robots.txt может принести больше вреда, чем его полное отсутствие. Вот самые частые промахи.
Случайная блокировка всего сайта от индексации
Это самая страшная ошибка. Одна-единственная строчка Disallow: / полностью закрывает ваш сайт для всех поисковиков. Иногда её добавляют разработчики на время создания сайта, а потом забывают убрать. В результате сайт месяцами может быть невидим для поиска. Всегда проверяйте эту строку!
Запрет на сканирование CSS и JavaScript файлов
Современные поисковые роботы, особенно Google, хотят видеть сайт так же, как его видит пользователь. Для этого им нужен доступ к файлам стилей (CSS) и скриптов (JS). Если вы закроете их в robots.txt, робот увидит лишь голый HTML-код и может посчитать ваш сайт некачественным или неудобным для мобильных устройств.
Запрещать доступ к CSS и JS — всё равно что просить оценить дизайн автомобиля, но показывать только его каркас без кузова и салона. Результат оценки будет предсказуемо плохим.
Отсутствие ссылки на актуальную карту сайта Sitemap.xml
Это не фатальная ошибка, но большая упущенная возможность. Без директивы Sitemap поисковик будет дольше искать новые страницы на вашем сайте. Убедитесь, что ссылка на карту сайта есть и она ведёт на актуальный sitemap.xml.
Часто задаваемые вопросы (FAQ)
Что будет, если у сайта совсем нет файла robots.txt?
Ничего страшного. В этом случае поисковые роботы будут считать, что им разрешено сканировать весь ваш сайт без ограничений. Однако вы потеряете контроль над процессом и не сможете скрыть служебные разделы.
Чем robots.txt отличается от мета-тега noindex?
Robots.txt — это рекомендация не сканировать страницу (не заходить на неё). Мета-тег noindex — это приказ не добавлять уже просканированную страницу в поисковую выдачу. Если нужно, чтобы страница была доступна по прямой ссылке, но не появлялась в поиске, лучше использовать noindex.
Гарантирует ли Disallow, что страница никогда не попадет в поиск?
Нет, не гарантирует. Если на вашу закрытую в robots.txt страницу ведут ссылки с других сайтов, поисковик может узнать о её существовании и добавить в выдачу, хоть и без описания. Для 100% гарантии исключения из поиска используйте мета-тег noindex.
Как закрыть от индексации одну конкретную страницу, а не весь раздел?
Очень просто. Укажите полный путь к странице от корня сайта в директиве Disallow. Например, чтобы закрыть страницу https://vash-site.ru/private/secret-page.html, правило будет таким: Disallow: /private/secret-page.html.
