Данный раздел позволяет просматривать и редактировать файл Robots.txt.
По умолчанию в магазине создается robots.txt, закрывающий от индексации заказы магазина, дубли страниц, административную панель, другие служебные и технические страницы.
Важно: не рекомендуется изменять cтандартный robots.txt без соответствующих знаний. Во избежание ошибок мы рекомендуем вам обратиться к SEO-специалисту для внесения каких-либо правок в данные настройки.
По умолчанию robots.txt выглядит так:
User-agent: Yandex
Disallow: /cart_items
Disallow: /add_to_cart
Disallow: /product_by_id
Disallow: /auth
Disallow: /login
Disallow: /orders
Disallow: /client_account
Disallow: /admin
Disallow: /search
Disallow: /search_suggestions
Disallow: /bank_receipts
Disallow: /bank_ru_receipts
Disallow: /juridical_person_receipts
Disallow: /compares
Disallow: /captchas
Disallow: /ru_captcha
Disallow: *?*theme_preview
Disallow: *?*theme_preview_disable
Disallow: /*/reviews
Disallow: *?*options
Disallow: *?*characteristics
Clean-param: price_min&price_max&order&page_size
Sitemap: https://mysite.myinsales.ru/sitemap.xml
User-agent: *
Disallow: /cart_items
Disallow: /add_to_cart
Disallow: /product_by_id
Disallow: /auth
Disallow: /login
Disallow: /orders
Disallow: /client_account
Disallow: /admin
Disallow: /search
Disallow: /search_suggestions
Disallow: /bank_receipts
Disallow: /bank_ru_receipts
Disallow: /juridical_person_receipts
Disallow: /compares
Disallow: /captchas
Disallow: /ru_captcha
Disallow: *?*theme_preview
Disallow: *?*theme_preview_disable
Disallow: /*/reviews
Disallow: *?*options
Disallow: *?*characteristics
Disallow: *?*price_min
Disallow: *?*price_max
Disallow: *?*order
Disallow: *?*page_size
Sitemap: https://mysite.myinsales.ru/sitemap.xml
После добавления своего доменного имени в разделе Настройки → Домены директивы Host и Sitemap будут автоматически обновлены. Вручную изменять данные директивы после добавления домена или изменения не нужно, так как они обновляются автоматически.
Sitemap можно использовать свой, но если вы планируете использовать sitemap, автоматически формируемый платформой, то оставляйте значения директивы без изменений.
Возможно следует закрыть от индексации еще какие-либо страницы, здесь уже будет виднее SEO-специалисту.
Если не уверены что верно написали robots.txt, то у Яндекса и Google существуют удобные инструменты для их анализа:
