Фильтр

Составление robots.txt

По умолчанию в магазине создается robots.txt, закрывающий от индексации заказы магазина, дубли страниц, административную панель, другие служебные и технические страницы. Не рекомендуется изменять cтандартный robots.txt, без соответствующих знаний. Во избежание ошибок, мы рекомендуем вам обратиться к SEO-специалисту для внесения каких-либо правок в данные настройки.

Для изменения достаточно зайти в раздел настройки --> robots.txt

По умолчанию robots.txt выглядит так:

User-agent: Yandex
Disallow: /cart_items
Disallow: /product_by_id
Disallow: /auth
Disallow: /login
Disallow: /orders
Disallow: /client_account
Disallow: /admin
Disallow: /search
Disallow: /search_suggestions
Disallow: /bank_receipts
Disallow: /bank_ru_receipts
Disallow: /juridical_person_receipts
Disallow: /compares
Disallow: /captchas
Disallow: /ru_captcha
Disallow: *?*theme_preview
Disallow: *?*theme_preview_disable
Disallow: /*/reviews
Disallow: *?*options
Disallow: *?*characteristics
Host: https://mysite.myinsales.ru
Clean-param: price_min&price_max&order&page_size
Sitemap: https://mysite.myinsales.ru/sitemap.xml

User-agent: Googlebot
Disallow: /cart_items
Disallow: /product_by_id
Disallow: /auth
Disallow: /login
Disallow: /orders
Disallow: /client_account
Disallow: /admin
Disallow: /search
Disallow: /search_suggestions
Disallow: /bank_receipts
Disallow: /bank_ru_receipts
Disallow: /juridical_person_receipts
Disallow: /compares
Disallow: /captchas
Disallow: /ru_captcha
Disallow: *?*theme_preview
Disallow: *?*theme_preview_disable
Disallow: /*/reviews

User-agent: *
Disallow: /cart_items
Disallow: /product_by_id
Disallow: /auth
Disallow: /login
Disallow: /orders
Disallow: /client_account
Disallow: /admin
Disallow: /search
Disallow: /search_suggestions
Disallow: /bank_receipts
Disallow: /bank_ru_receipts
Disallow: /juridical_person_receipts
Disallow: /compares
Disallow: /captchas
Disallow: /ru_captcha
Disallow: *?*theme_preview
Disallow: *?*theme_preview_disable
Disallow: /*/reviews
Disallow: *?*options
Disallow: *?*characteristics
Disallow: *?*price_min
Disallow: *?*price_max
Disallow: *?*order
Disallow: *?*page_size
Sitemap: https://mysite.myinsales.ru/sitemap.xml

После добавления своего доменого имени в раздели настройки --> домены, директивы Host и Sitemap будут автоматически обновлены. Т.е вручную изменять данные директивы после добавления домена или изменение не нужно, так как они обновляются автоматически.

Sitemap можно использовать свой, но если вы планируете использовать sitemap, автоматически формируемый платформой, то оставляете значения директивы без изменений.

Возможно следует закрыть от индексации еще какие-либо страницы, здесь уже будет виднее SEO-специалисту.

Если не уверены что верно написали robots.txt, то у яндекса и google существует очень удобные инструменты для их анализа:

http://webmaster.yandex.ru/robots.xml

https://www.google.com/webmasters/tools/robots-testing-tool

 

Ключевые слова: seo, сео

Полезная статья?
Остались вопросы?
Отправь тикет в техподдержку!
Недавно просмотренные статьи