Как проверить, ускорить и закрыть индексацию страниц сайта в Google и Яндекс

Термин «индексация сайта» сегодня знаком каждому веб мастеру и практически каждому владельцу онлайн-бизнеса. Она влияет на позицию, занимаемую вашим ресурсом в поисковых системах, и, разумеется, когда она выше, пользователи, пребывающие в поисках нужной информации, товаров, услуг, окажутся в числе ваших клиентов с большей вероятностью, ведь увидят вас в числе первых.

Соответственно, неточности индексирования скажутся негативно на рейтинг в ТОП выдачи, или вовсе приведут к тому, что предложение компании окажется за пределами пользовательских запросов. Компания Idea Digital Agency составила краткий гайд для владельцев онлайн-бизнеса. Мы расскажем, как проверить индексацию сайта, и что делать, если он оказался вне поля зрения ботов.

Что такое индексация сайта?

Это процедура, проводящаяся алгоритмами с использованием принципов искусственного интеллекта, с целью определить релевантность данных, их важность для пользователей и актуальность. Проводится она автоматически, а робот в ходе проведения производит определенный порядок действий:

• Находит вас благодаря СЕО-продвижению или при помощи внешних ссылок;
• Переходит по линку и отправляет запрос на получение контента серверу;
• Изучает и оценивает важность содержимого, затем принимает решение об индексировании;
• Отправляет отчет.

В случае положительного решения рейтинг повышается. Если данные признаны неважными, повторной процедуры ждать не придётся до момента исправления недостатков, помешавших роботу выполнить работу.

Зачем нужна индексация сайтов в Google, спросите вы. Ответ прост: только отсканированное и получившее индекс от бота содержимое отображается в пользовательской выдаче на нужных вам позициях. Если по каким-либо причинам аналитика ботов прошла мимо или же URL попали под анализ частично, каким бы замечательным ни был контент, или насколько полезными не оказались товары, клиенты останутся в неведении и получат в выдаче своих запросов ссылки на магазины конкурентов.

Путать понятия сканирование и индекс неправильно. Бот проводит обе процедуры. Сканировать робот может достаточно быстро, а индексирование - более длительный процесс.

Как ускорить индексацию сайта, рассмотрим подробно далее, но главное в принципе работы ботов-пауков - сканирование HTML-кода. Поэтому важно не только подготовить релевантный контент для страницы, но и правильно прописать основные теги, включая заголовки разных уровней, метатеги Title и Description. Эту задачу лучше доверить профессиональным оптимизаторам, если важен 100% результат.

Как проверить индексацию сайта

Если вы не уверены, прошел ли URL сканирование, отмечаете низкую посещаемость, ищете причины невысокой конверсии, стоит запустить проверку URL в Гугл и Яндексе на правильность обработки и ее наличие. Доступны несколько способов, как это сделать, и любой способ имеет свои преимущества. Рассмотрим каждый подробнее.

Проверка в панели вебмастеров

Индексация сайта в Гугле и Яндексе возможна стандартным инструментом - Панелью Вебмастера. Для каждой популярной системы существует прописанный алгоритм действий. Мы рассмотрим его для двух основных, используемых в нашей стране.

• Проверка в Google проводится через Search Console. Выберите раздел «Обзор» в консоли, откройте графический отчёт «Покрытие». На графике вы сможете увидеть количество проиндексированных безошибочно объектов (зеленый график) и те, с которыми возникла ошибка (красный график). Увидеть подробный отчёт об основных файлах можно переходом в соседнюю вкладку с отчетом.

• Как проиндексировать сайт в Яндекс? Понадобится авторизоваться в сервисе Яндекс.Паспорт. Заходите непосредственно в сервис вебмастеров «Яндекс. Вебмастер», выбирайте параметр «Индексирование», далее - два пути: либо выбрать параметр «Страницы в поиске», либо его же в истории вебмастера. На полученном графике вы сможете отследить историю. График идёт по экспоненте без резких колебаний - это хороший признак: SEO продвижение сайта идёт правильно. Если график неровный, напоминающий кардиограмму, это явный признак ошибок в анализе: их обязательно нужно исправить.

В случае, когда проверка сайта Гуглом или Яндексом показывает нелицеприятные результаты, стоит удостовериться, что он не закрыт для их внимания и устранены базовые проблемы.

Материал по теме: Google Search Console: как добавить сайт и лайфхаки для SEO

Проверка через операторы в поисковых запросах

Индексация сайтов в Google отображается и в самом поисковике. Для изучения количества проиндексированных данных в целом можно использовать оператор site:. Алгоритм в этом случае проще простого: нужно добавить точный линк или доменное имя в Гугл, проставив перед адресом site:. После него без пробелов скопируйте полный линк. Посмотрите на выдачу.

Кстати, нелишним будет выполнить сравнение: запустите поиск в Яндекс и Гугл одновременно, если количество результатов выдачи будет существенно различаться, это признак того, что есть не выявленные ошибки, требующие исправления.

Чтобы получить более детальный анализ в Google можно зайти в раздел «Инструменты поиска»: так вы сможете увидеть, какое число линков было обработано с присвоением индекса за определенный период времени.

Параллельно рассмотрим, как проверить индексацию сайта операторами по каждому разделу.

• Стандартная схема - всё тот же site:. Вставьте после него полную ссылку и просмотрите результат. Отсутствие результата - верный признак того, что страница не индексируется.

• В этом случае можно задействовать специальные операторы. Для Гугл это – inurl:. Для Яндекса – url:. При обработке запроса с этими операторами положительный результат означает, что раздел всё же проиндексирован, отрицательный - его отсутствие в аналитике ПС.

С этой же целью можно выполнить такое простое действие, как посмотреть кэш Гугла. Для этого достаточно находясь на выбранной странице в поисковой строке перед URL прописать оператор cache и нажать энтер.

Проверка через плагины и букмарклеты

Узнать информацию можно и без непосредственного взаимодействия с поисковыми системами и их Консолями. Достаточно задействовать плагины или букмарклеты - небольшие приложения, которые устанавливаются непосредственно в браузер. Можно использовать такие плагины, как RDS bar или SEO Magic. Кроме них, существуют и другие микро-программы, с которыми массовая проверка индексации страниц будет минутным делом.

Анализ через сервисы для проверки индексации

Некоторые разработчики софта предлагают готовые решения, как узнать статус в ПС. Часть из них предлагается на платной основе и позволяет вытянуть сразу множество данных для анализа. Есть и более простые, shareware сервисы. В них может присутствовать ограничение по количеству линков, либо они могут иметь ограниченный функционал, но базовые данные они вполне могут вам предоставить. К таким сервисам относятся serphunt.ru и raskruty.ru. Для их применения достаточно перейти по адресу и следовать простым инструкциям.

Платные версии сервисов предлагают такие компании, как serpstat, Netpeak, Se Ranking (у последних сервис условно бесплатный, но только при условии, что вы уже подписаны на один из платных тарифов).

Как проверить индексацию конкретной страницы

Как и в случае с аналитикой в целом, проанализировать каждую страницу по отдельности можно через Search Console Гугла. Сделать это очень просто: скопируйте линк и вставьте в строку поиска Консоли. При положительном ответе появится соответствующее информационное окно.

Если ответ отрицательный, вы можете отправить ее повторно при помощи кнопки «Запросить индексирование».

Также определенные URL можно протестировать через поисковик с оператором site:, url/inurl. И, конечно, такая опция присутствует в платных сервисах или плагинах для анализа.

Почему не индексируется сайт, основные ошибки

Предупреждён - значит, вооружён, считаем мы. Поэтому важно знать и о главных причинах, по которым поисковые боты игнорируют вас и не индексируют целиком или отдельные разделы.

• Часто проблема банальна: онлайн-проект только создан, и поисковые пауки ещё не добрались до него. При статистике создания новых объектов в интернете, такая ситуация не редкость. Поэтому иногда не стоит паниковать, достаточно проявить терпение и регулярно просматривать, не появились ли ваши страницы в индексе.
• Отсутствие sitemap - не критичный, но не лучший вариант. Если вы не предоставили роботам готовый гайдлайн, они могут выборочно проиндексировать несколько рандомных страниц, а остальные упустить из виду или проигнорировать.
• Ошибки в страницах: отчеты Google Search Console игнорировать не стоит. Они показывают текущие ошибки страниц, которые, в свою очередь, могут привести к сбоям обработки поисковыми роботами.
• Недостаток контента - повод для отклонения. Контент - это не только текстовое наполнение, но и всевозможные медиа-объекты, расположенные на странице.

• Проблемы с robots.txt. Если для мета-тега случайно был присвоен атрибут noindex, поисковые пауки его не смогут найти. Аналогично с тегом X-Robots, который мог быть проставлен, как Noindex при тестировании или выставлен случайно. В общем, файл «роботов» стоит тщательно изучить на наличие лишних символов или атрибутов.
• Низкая уникальность контента - тоже провоцирует на отказ. Если даже вы выступаете первоисточником контента, но при этом ваши конкуренты «слизали» его и ускоренно проиндексировали свой ресурс, приоритет получат они, а не вы.
• Наличие дублей страниц для Search robots - тоже тревожный сигнал.

Также для отслеживания причин игнорирования ботами можно посмотреть статистику: возможно, причина в низкой скорости загрузки.

Инструкция по ускорению индексации сайта

Индекс поисковиками - насущный вопрос. И ускорить его стоит всеми возможными способами. А их существует не так уж и мало. Перечислим наиболее эффективные:

• Обязательно создайте sitemap - это путеводитель для роботов-поисковиков.
• Если карта уже есть, не забывайте ее регулярно обновлять, чтобы новые страницы и обновленный контент тоже оказывался проиндексированным.
• Следите за уникальностью контента. Удаляйте тот, который показывает низкую уникальность.
• Следите, не осталось ли дублей страниц после разработки.
• Сбои при переходе по линкам и ошибочные редиректы только запутывают “пауков”.
• Постоянный контроль robots.txt - это практически профилактика здоровья вашего бизнеса онлайн.
• Отладка страниц на предмет скорости поможет ускорить процесс. Поэтому займитесь этим тоже.
• Разумное распределение ссылок на ресурсах-донорах и внутри самого ресурса позволит алгоритмам попасть к вам быстро и точно. Для этого обновлённые разделы анонсируйте в социальных сетях, выбирайте подходящих доноров и логичную перелинковку на ресурсе.
• Регулярные обновления - это сигнал роботам, что вы живёте и развиваетесь. Запомните это.

Материал по теме: Как проверить и увеличить скорость загрузки сайта?

Как закрыть сайт от индексации?

Есть ситуации, когда необходимо выполнить и обратное действие - не дать индексировать вас. Удалить страницу из поиска Гугл и закрыть ее от внимания ботов можно при помощи внесения соответствующих команд в robots.txt.

Для этого используется команда Disallow.

С её помощью можно закрыть как все целиком, так и отдельные директории, картинки или медиа-контент.

Аналогично можно установить запрет и через кабинет веб-мастера. В различных CMS это может быть реализовано в разных позициях меню, но в целом вполне реализуемо.

И, конечно, можно запросить доступ по паролю на уровне настроек сервера.

Заключение

Загадочная процедура, о которой мы рассказали, не так уж страшна, как кажется на первый взгляд. Она полезна для всех ресурсов, за исключением еще не запущенных в работу или уже устаревших. И поэтому отследить отсутствие файлов, очень важно. Мы надеемся, что наша статья окажется для вас полезной, и ваш онлайн-проект будет точно индексироваться и отображаться на самых верхних позициях выдачи в поисковиках.