Top.Mail.Ru

Индексация сайта интернет-магазина: цели, способы проверки и ускорения процесса

В органическую выдачу попадают только проиндексированные ресурсы. Когда пользователь вводит запрос в поисковую строку, система просматривает базу с миллиардами просканированных веб-страниц. Затем с учетом разных факторов отбираются и показываются релевантные ответы. Как проверить индексацию и сделать так, чтобы сайт интернет-магазина оказался в поле зрения поисковых роботов – об этом наша сегодняшняя статья.

Цели и особенности индексации страниц

Процесс индексации состоит из нескольких этапов:

  1. Сканирование и обработка информации.
  2. Анализ контента.
  3. Добавление в индекс.
  4. Работа поисковых алгоритмов.
  5. Выдача результатов, релевантных запросам пользователей.

Индексация – процедура считывания, анализа и загрузки содержимого веб-страниц в базу данных, которая используется для поиска информации на сайтах. По сути это сканирование документа роботом с последующим включением в поисковый индекс.

За счет собранной информации поисковики ориентируются в тематике сайтов и наполнении отдельных страниц. Эти сведения приводятся в удобный для поисковых алгоритмов формат и хранятся в индексе, дополняются деталями и заменяются новыми версиями веб-страниц, обнаруженными при повторных визитах.

Во время сканирования робот проверяет, разрешена ли индексация, загружает и разбирает мета-теги, тексты, видео, изображения, служебную информацию и прочий контент. Полезность данных определяется по внешним ссылкам, активности посетителей, объемам трафика.

Главная цель индексации для сайта интернет-магазина – иметь возможность:

  • участвовать в поиске;
  • конкурировать с основными соперниками в нише;
  • получать органический трафик и стабильный поток целевых посетителей.

В процессе индексирования систем «Яндекс» и Google есть некоторые отличия. Googlebot первым делом оценивает мобильную версию веб-страниц. Индексация выполняется достаточно быстро: от нескольких минут до 7 дней. В постоянно обновляемый индекс попадают все просканированные данные. В выдаче по запросам оказываются самые качественные страницы, релевантность которых проверена по более 200 факторам ранжирования.

Особенности индексации в Google 

Особенности индексации в Google 

Индекс в «Яндекс» обновляется раз в несколько дней. Система работает медленнее Google. Процесс индексирования может выполняться от 7 до 30 дней. В выдаче поисковика отображаются максимально релевантные документы с понятной, полезной и удобной в использовании информацией. Некачественные веб-страницы удаляются из индекса.

Условия попадания страниц в индекс

В индекс попадают те страницы сайта, которые посетил и счел полезными поисковый робот. Если страница осталась не проиндексированной, значит робот еще не дошел до нее или расценил, как неважную. Найти такую страницу через поиск в «Яндекс» или Google будет невозможно.

К непопаданию в индекс приводят такие ошибки и нарушения:

  • отсутствие или небольшое количество уникального релевантного контента;
  • низкая скорость загрузки;
  • глубокая вложенность страницы по отношению к главной;
  • высокий процент отказов;
  • автоматическая генерация контента;
  • ошибки кодировки в тексте;
  • некорректный код ответа сервера;
  • неправильное заполнение robots.txt;
  • множество мусорных, спамных и малополезных страниц, дубликатов;
  • использование недопустимого контента, информации, запрещенной законодательством.

Плохое индексирование вероятно из-за ошибок в выборе главного зеркала, наличия вирусов или наложенных санкций. Зачастую роботы не доходят до определенных веб-страниц по причине отсутствия ссылок на них в sitemap.xml и внутренней перелинковке. Иногда проблема заключается в случайных запретах на индексацию отдельных разделов/страниц.

Инструменты управления поисковыми роботами

Чтобы попасть в индекс, нужно прежде всего решить все потенциальные проблемы. Только после этого можно приглашать бота на сайт для новой или повторной проверки и обработки данных.

Если ресурс появился в сети недавно, необходимо представить его поисковым системам, используя инструменты «Яндекс» и Google. Второй вариант – привлечь робота ссылками, размещенными на сторонних, уже проиндексированных ресурсах: в социальных сетях, на форумах и любых других площадках, близких по тематике.

Поисковые боты могут найти и проверить веб-сайт самостоятельно. Но полагаться на это полностью не стоит. Надежнее сообщить о ресурсе, нуждающемся в индексации, через специальные формы в сервисах поисковых систем.

Влиять на процесс можно с помощью двух файлов – robots.txt и sitemap.

robots.txt

Robots.txt – текстовый файл с параметрами индексирования, размещаемый в корневой папке ресурса. При обходе боты ориентируются на прописанные в нем данные, благодаря чему могут не тратить время и лимиты на проверку маловажных данных. Файл должен весить не более 32 KB и содержать правильно оформленные типы директив:

  1. User agent – определяет робота, на которого распространяются правила.
  2. Disallow – применяется для запрета индексирования отдельных разделов и веб-страниц.
  3. Sitemap – отмечает местоположение карты сайта.
  4. Allow – разрешает индексацию определенных разделов/страниц.

Перед загрузкой файла нужно проверять его на правильность в панелях веб-мастера.

Файл sitemap оповещает поисковые системы об актуальной на данный момент структуре ресурса, помогает выставить приоритеты для проверки. В нем указывается частота обновлений и другая ценная информация, которая необходима для максимально точного индексирования. Например, тип и лицензия изображений, длина и категория видеороликов и прочее. Sitemap особенно важен для объемных площадок с множеством страниц, на которых присутствует мультимедийный контент.

Как «пригласить» поискового бота:

  • создать sitemap;
  • вставить ссылку на карту в robots.txt;
  • добавить файл в веб-службы поисковиков;
  • отправить запрос на сканирование.

Более простой способ – добавить сайт с помощью запроса «Add URL» в поисковой строке соответствующей системы.

Скорость сканирования будет зависеть от многих критериев. Учитываются:

  • настройки в панели веб-мастера;
  • скорость работы ресурса;
  • количество страниц/разделов;
  • краулинговый бюджет.

Краулинговый бюджет – это максимальный лимит URL-адресов, выделенный для проверки одного веб-сайта в заданный период времени.

Файл sitemap

Способы проверки индексации

Проверить присутствие сайта, разделов и страниц интернет-магазина в индексе можно несколькими способами.

Поисковые операторы в запросах

Самый простой и быстрый способ ручной проверки – уточненный поисковой запрос с использованием оператора «site:». Он позволяет получить общую информацию о примерном количестве проиндексированных веб-страниц ресурса.

Запрос пишется в формате «site: [url сайта/раздела/страницы]». Для просмотра даты последнего сканирования вводят «cache: [адрес веб-страницы]». Результаты выдаются по поддоменам и основному домену.

С помощью дополнительных инструментов можно посмотреть данные о сканировании за конкретный период: последний час, сутки, неделю, месяц, год. Если на ресурс наложены какие-либо фильтры или санкции, ссылка может не отображаться. В таком случае следует вводить запрос через специальных операторов «inurl:» и «url:». При отсутствии страницы в индексе в выдаче будет показан пустой результат.

Чтобы понять, есть ли проблемы с индексацией и каков их масштаб, нужно сравнивать фактическое количество страниц с проиндексированным. Серьезная разница говорит о том, что поисковая система не видит большую часть контента. Также о проблемах свидетельствуют различия по показателям в «Яндекс» и Google. В основном это означает, что сайт находится под фильтрами.

Поисковые операторы в запросах

Панели вебмастера

Базовые инструменты проверки для владельцев ресурсов – Google Search Console и «Яндекс.Вебмастер». В них выводятся детализированные сведения обо всех страницах сайта, по которым легко определить, что именно не проиндексировано и по какой причине.

Алгоритм проверки в Google:

  • зайдите в Search Console – «Статус индексирования» – «Индекс»;
  • оцените видимость и количество адресов в индексе;
  • перейдите в график «Покрытие» во вкладке «Обзор»;
  • обратите внимание на цвета: проиндексированные страницы без ошибок отмечены зеленым, с ошибками – красным;
  • откройте отчет и просмотрите детализацию выявленных ошибок;
  • для проверки присутствия в индексе определенной страницы/раздела вставьте нужный URL в поисковую строку;
  • после внесения изменений отправьте запрос на переиндексацию, нажав на соответствующую кнопку;
  • воспользуйтесь той же кнопкой для постановки новых данных в очередь на сканирование.

Алгоритм проверки в «Яндекс»:

  • внесите URL-адрес ресурса в форму и подтвердите права владельца;
  • зайдите в «Яндекс.Вебмастер», пункт «Индексирование сайта»;
  • откройте категорию «Страницы в поиске»;
  • перейдите в «Историю» и посмотрите динамику изменения числа веб-страниц ресурса, участвующих в поисковой выдаче (количество качественных разделов без ошибок должно расти и добавляться в индекс).

Плагины и скрипты

Плагины и скрипты – вариант для автоматизированных проверок. Это специальные расширения для браузеров, которые работают по аналогичным принципам. Чтобы получить интересующую информацию в один клик, не нужно ничего настраивать и прописывать: достаточно открыть сайт для проверки и активировать плагин.

В ТОП-3 популярных инструментов входят:

  1. Seo Magic – отображает количество проиндексированных адресов, ТИЦ, АГС.
  2. RDS Bar – проверяет общий индекс ресурса, индексацию и позиции текущей веб-страницы в различных поисковых системах, обратные и входящие ссылки.
  3. Open SEO Stats – показывает статистику по количеству адресов в индексе, подробную информацию о страницах, внешних ссылках, скорости загрузки.

Open SEO Stats

Онлайн-сервисы

Альтернатива плагинам – различные онлайн-сервисы. Помимо проверки индексации, они предоставляют много дополнительных функций и данных, помогают обнаружить вероятные проблемы в этом направлении. Примеры автоматизированных сервисов – Rush Analytics, SEO-reports, «Топвизор».

Функции Rush Analytics:

  • проверка индексации;
  • мониторинг поисковой выдачи, изменений заголовков, тегов и текстов;
  • проверка позиций по регионам и городам;
  • анализ конкурентов.

Возможности SEO-reports:

  • фиксация истории индексирования;
  • подсчет вывода в ТОП выдачи;
  • автогенерация и рассылка отчетов в динамике по данным систем аналитики;
  • ведение статистики посещений;
  • формирование графика ссылочной массы.

Функционал сервиса «Топвизор»:

  • постраничная проверка индексации;
  • предоставление отчетов в динамике по позициям в выбранных поисковых системах;
  • работа с семантическим ядром ресурса;
  • анализ конкурентов.

Топвизор

Инструменты сервиса «Топвизор» 

Как ускорить индексацию?

Иногда, даже при отсутствии явных проблем, которые могли бы препятствовать индексированию, адрес долгое время не появляется в выдаче поисковых систем. В некоторых случаях нужно просто подождать. Процесс сканирования молодых, только запущенных ресурсов может растянуться на несколько месяцев.

Ускорить индексацию помогут следующие эффективные шаги:

  1. Увеличение количества ссылок. Внешние и внутренние ссылки – дополнительное преимущество в индексации. Следует ссылаться на важные страницы в социальных сетях, текстах и главных разделах сайта. Кроме новых посетителей, ссылки приведут на площадку и поисковых роботов.
  2. Актуализация карты. Все новые разделы и любые данные сайта должны автоматически попадать в карту. Так роботам легче определить адреса, обязательные для посещения.
  3. Создание уникального контента и удаление дублей. Малополезный и неуникальный контент, а также страницы-дубли зря расходуют краулинговый бюджет. Такие данные нужно безжалостно удалять.
  4. Контроль внутренних редиректов, битых ссылок. Редиректы и гиперссылки, ведущие на несуществующие адреса – враги индексации, из-за которых робот не доходит до рабочих страниц.
  5. Правильная настройка стандартов для роботов. Важные адреса должны быть доступны для поисковых ботов и открыты для сканирования.
  6. Оптимизация скорости загрузки. То, насколько быстро загружаются данные, влияет на показатели качества ресурса. Скорость загрузки не должна быть больше 3-5 секунд.
  7. Регулярные обновления. Поисковики более благосклонны к «живым» площадкам. Поэтому необходимо постоянно поддерживать актуальность ресурса: добавлять новые товары, категории, материалы, обновлять устаревшую информацию.

Заключение

Индексация всех открытых страниц – одна из наиболее важных целей для любого ресурса. Чтобы достичь ее, нужно контролировать процесс сканирования и добавления адресов в индекс, оперативно реагировать на сигналы о потенциальных проблемах. Главные условия успешного индексирования – качественная оптимизация, правильные настройки и полезный, релевантный контент.

Еще нет своего магазина?
Создайте интернет-магазин на платформе InSales
Всё для продаж уже внутри!
Возможно вам также будет интересно:

Реклама в мобильных приложениях: виды, плюсы и минусы, особенности размещения

24.09.2020
Смысла нет говорить, что мобильный трафик стремительно растет - со смартфонов в сеть заходят больше половины пользователей. Многие из них...

Маркетинговые промо-акции для интернет-магазина: виды и особенности подготовки

23.09.2020
Продвижение в высококонкурентных нишах требует особого подхода. Чтобы выделиться на фоне соперников, интернет-магазины используют нетрадиционные маркетинговые инструменты, подключают элементы креатива....

Интернет-магазины в регионах: особенности продвижения, общие рекомендации и правила

22.09.2020
Одна из современных тенденций интернет-торговли – это развитие дистанционной торговли в регионах. Если раньше активные интернет-продажи шли только в крупных...

SEO-оптимизация сайта: как вывести сайт интернет-магазина в ТОПы поисковых систем

21.09.2020
В интернет-торговле на коне не тот, у кого лучше или дешевле. И не тот, кто предоставляет лучший сервис. Первым в...

Как повысить эффективность менеджеров по продажам: пошаговый чек-лист

18.09.2020
Восприятие продукта и компании во многом зависит от менеджеров по продажам. Эти сотрудники отвечают за самый важный процесс – реализацию...

Как правильно и с пользой провести рабочее совещание

17.09.2020
Один час личного общения с подчиненными может заменить недельную переписку. Да, технически можно вообще не встречаться. Но куда лучше собрать...

Как быстро потерять уважение сотрудников: 10 вредных советов руководителю

16.09.2020
Потерять уважение среди подчиненных гораздо проще, чем его заслужить. В статье мы собрали для вас 10 рекомендаций о том, как...

Закон Парето в бизнесе: особенности, правила и способы применения

15.09.2020
Объем прилагаемых усилий не всегда соответствует результату. Сделав много, мы получаем мало, или наоборот. Так бывает и в обычных жизненных...

Почему интернет-магазин не продает: 22 очевидные и неочевидные проблемы с примерами и способами решения

14.09.2020
Продаж нет и не понимаете, почему? Срочно читайте нашу статью. Мы собрали в ней весь опыт и огромное количество наработок...

Начните бесплатно!

Получите все и сразу: поддержку 24х7, адаптивные шаблоны, рекомендации по продвижению

Создайте интернет-магазин за 1 день
Все для продаж уже внутри
Готовые шаблоны дизайна ・ Надежный хостинг ・ Помощь в продвижении ・ Поддержка 24×7 ・ Интеграции оплаты, доставки и 1С ・ 14 дней бесплатно