В интернете уже давно большую часть работы выполняют работу. Мы пишем запрос, они ищут и показывают ресурсы с ответами. Но работают не только «роботы — поисковики», но и «роботы — дворецкие». Они живут на сайтах, встречают поисковиков, объясняют правила и рассказывают, что можно показать нам с вами, а что лучше скрыть. «Дворецкий» вашего сайта — это файл robots.txt. В статье рассказываем, что он умеет, где размещается и как его создать самостоятельно и без ошибок.
Что такое robots.txt
Robots.txt — файл с текстом, где прописаны определённые команды для ботов поисковых систем. Некоторые разделы сайта должны быть скрыты, а некоторые — индексироваться, привлекая клиентов. Объяснить, что есть что поисковикам — задача robots.txt.
Какие ещё миссии у robots.txt:
-
SEO-оптимизация. Файл делает ваш сайт более заметным для пользователей, поднимает его в строке поиска.
-
Защита данных. Файл скрывает от роботов-поисковиков конфиденциальные данные, например, информацию о заказах в интернет-магазине.
Где «живёт» robots.txt:
Файл всегда располагается в папке корневой директории вашего сайта. Если поместить его в другое место — он перестанет выполнять свои функции.
Как найти robots.txt:
Если ваш сайт называется, например, vashsite.ru, то введите адрес vashsite.ru/robots.txt. Если файл существует, вы увидите его содержимое прямо в браузере. Если его нет, то придёт сообщение об ошибке.
Как создать robots.txt самостоятельно
Понадобится текстовый редактор, который у вас есть, подойдут даже «Заметки» или «Блокнот». Создайте в редакторе новый файл и назовите его robots.txt.
Внутри файла пропишите команды для поисковых ботов, используя директивы. Каждая директива пишется с новой строки и с заглавной буквы. Если вы уже посмотрели, как выглядит готовый файл, и понимаете, что не знакомы с этими символами — не паникуйте, процесс настройки файла очень прост. Нужно только познакомиться с директивами.
Директива User-agent
Главная директива, которая обозначает, для кого предназначены все последующие инструкции в файле. Вы можете выставить правила для каждого бота (отдельно для Google или Яндекс), либо использовать универсальную команду для всех поисковиков.
|
Пример: User-agent: Yandex Вы установили правила для роботов Яндекса. User-agent: * Вы установили правила для всех роботов (символ «звёздочка»). |
Директива Disallow
Это правило для ботов — не выдавать в поиске какие-то определённые части сайта. Чтобы закрыть конкретный раздел, укажите путь после слова Disallow.
|
Пример: Disallow: /admin/ Этой командой вы закроете просмотр всей административной панели. |
Директива Allow
Это обратная сторона медали. Директива разрешает ботам показывать какие-то конкретные разделы сайта, несмотря на запреты, установленные ранее.
|
Пример: Allow: /blog/ Даже если вы уже закрыли целый раздел сайта, эта директива позволит поисковикам индексировать блог, где вы размещаете полезные статьи, рекламируя свой бизнес. |
Директива Sitemap
Последняя значимая директива, которая показывает ботам карту вашего сайта. Карта сайта — это XML-файл, где находится список всего, что размещено на вашем ресурсе. Карта сайта помогает быстро индексировать данные, в том числе фото и видео, если они есть.
|
Пример: Sitemap: https://vashsite.ru/sitemap.xml Вы показали роботам дорогу к карте сайта. |
Важный момент: файл обязательно должен носить имя robots.txt.
После создания загрузите файл на сервер вашего сайта. Обычно это делают через FTP-клиент или встроенные инструменты хостинга, можно поинтересоваться у службы поддержки вашего хостинг-провайдера.
На платформе InSales при создании сайта файл robots.txt устанавливается по умолчанию. Он будет настроен правильно автоматически: закрываются от поисковых роботов ненужные пользователям ответвления, например, заказы магазина или дубли страниц. В то же время, открывается доступ к основным важным частям сайта, которые должны быть проиндексированы поисковиками, чтобы ваш магазин был видимым в интернете, то есть, влияют на SEO.
Это удобно, вам не придется вручную настраивать файл или обращаться к веб-мастерам. Всё сразу работает корректно, весь функционал платформы можно изучить и попробовать бесплатно.
Ошибки при создании файла robots.txt
Закрытие всего ресурса от поисковиков
Одна из самых серьёзных ошибок — случайно закрыть содержимое сайта от индексации. Если вы добавите строку `Disallow: /`, поисковые роботы перестанут видеть ваш сайт вовсе. Потенциальные клиенты просто не смогут найти вас.
Как избежать: используйте директиву `Disallow:` только для тех страниц, которые точно не должны попадать в результаты поиска, например, административные панели.
Неправильное написание директив
Это очень частая ошибка. Например, вместо `Disallow: /private/` может быть написано `Dissallow: /private/`, что делает директиву неработоспособной. Или может быть добавлен лишний пробел, который позволит индексацию нежелательных страниц.
Как избежать: внимательно проверяйте синтаксис и орфографию директив перед загрузкой файла на сервер.
Не обновлять файл robots.txt
Следующая ошибка — создать и забыть о файле robots.txt. Если вы переделали часть сайта, старая версия файла будет содержать устаревшие правила. Например, если вы добавили новый раздел — каталог одежды, но забыли разрешить его индексацию, поисковые системы не смогут его обнаружить, и покупатели не придут. Или наоборот, если вы удалили что-то с сайта, но не внесли никаких изменения, ваши пользователи могут увидеть ошибку 404 («страница не найдена»).
Как избежать: проверяйте и обновляйте правила в robots.txt каждый раз, когда вносите изменения на сайт.
5 главных вопросов о robots.txt
Для чего нужен robots.txt?
Robots.txt указывает паукам (так называются поисковые боты, которые ищут в сети нужную информацию) какие страницы вашего сайта можно индексировать, а какие — нет.
Что нужно закрывать от поисковых роботов?
Закройте технические страницы, внутренние панели администрирования и служебные файлы, они не несут ценности пользователям. Если у вас интернет-магазин, то нужно закрыть корзины, страницы регистрации и т.д.
Как проверить robots.txt?
Для проверки файла можно использовать инструменты веб-мастеров от Google или Яндекс Вебмастер, они покажут, что блокируется, а что показывается пользователям при запросе.
Как редактировать robots.txt?
-
Скачайте файл с сайта с помощью FTP-клиента или через панель управления хостингом.
-
В текстовом редакторе перепишите команды.
-
Сохраните файл и загрузите его обратно на сайт.
Файл можно изменить через административную панель сайта без скачивания, если к ней есть доступ.
Кому можно заказать написать robots.txt и сколько это будет стоить?
Заказать файл robots.txt можно специалистам по SEO. Стоимость услуги варьируется в зависимости от сложности и требований, но обычно составляет от 500 до 2 000 рублей. Напоминаем, что при использовании сервиса inSales, файл robots.txt создаётся и настраивается автоматически, без дополнительных затрат.
