Як перевірити, прискорити та закрити індексацію сторінок сайту в Google і Яндекс

Термін «індексація сайту» сьогодні знайомий кожному веб майстру і практично кожному власникові онлайн-бізнесу. Вона впливає на позицію, яку займає ваш ресурс в пошукових системах, і, зрозуміло, коли вона вище, користувачі, які перебувають в пошуках потрібної інформації, товарів, послуг, виявляться серед ваших клієнтів з більшою ймовірністю, адже побачать насамперед саме вас.

Відповідно, неточності індексування негативно позначаться на рейтингу в ТОП видачі, або зовсім призведуть до того, що пропозиція компанії виявиться за межами призначених для користувача запитів. Компанія Idea Digital Agency склала короткий гайд для власників онлайн-бізнесу. Ми розповімо, як перевірити індексацію сайту, і що робити, якщо він не потрапив у поле зору ботів.  

Що таке індексація сайту?

Це процедура, яка проводиться алгоритмами з використанням принципів штучного інтелекту, з метою визначити релевантність даних, їх важливість для користувачів і актуальність. Проводиться вона автоматично, а робот в ході проведення виконує певний порядок дій:

• Знаходить вас завдяки СЕО-просуванню або за допомогою зовнішніх посилань;
• Переходить за посиланням і відправляє запит на отримання контенту серверу;
• Вивчає і оцінює важливість вмісту, потім приймає рішення про індексування;
• Відправляє звіт.

У разі позитивного рішення рейтинг підвищується. Якщо дані визнані неважливими, повторної процедури чекати не доведеться до моменту виправлення недоліків, що перешкодили роботу виконати роботу.

Навіщо потрібна індексація сайтів в Google, запитаєте ви. Відповідь проста: тільки відсканований вміст, що отримав індекс від бота відображається в призначеній для користувача видачі на потрібних вам позиціях. Якщо з яких-небудь причин аналітика ботів пройшла повз або ж URL потрапили під аналіз частково, яким би чудовим не був контент, або наскільки корисними не виявилися товари, клієнти цього не дізнаються і отримають у видачі своїх запитів посилання на магазини конкурентів.

Плутати поняття сканування і індекс неправильно. Бот проводить обидві процедури. Сканувати робот може досить швидко, а індексування — більш тривалий процес.

Як прискорити індексацію сайту, розглянемо докладно далі, але головне в принципі роботи ботів-павуків — сканування HTML-коду. Тому важливо не тільки підготувати релевантний контент для сторінки, а й правильно прописати основні теги, включаючи заголовки різних рівнів, метатеги Title і Description. Це завдання краще довірити професійним оптимізаторам, якщо важливий 100% результат.

Як перевірити індексацію сайту

Якщо ви не впевнені, чи пройшов URL сканування, відзначаєте низьку відвідуваність, шукаєте причини невисокої конверсії, варто запустити перевірку URL в Гугл і Яндексі на правильність обробки і її наявність. Доступні кілька способів, як це зробити, і будь-який спосіб має свої переваги. Розглянемо кожен докладніше.

Перевірка в панелі вебмайстрів

Індексація сайту в Гуглі і Яндексі можлива стандартним інструментом — панеллю Вебмайстра. Для кожної популярної системи існує прописаний алгоритм дій. Ми розглянемо його для двох основних, використовуваних в нашій країні.

• Перевірка в Google проводиться через Search Console. Виберіть розділ «Огляд» в консолі, відкрийте графічний звіт «Покриття». На графіку ви зможете побачити кількість проіндексованих безпомилково об’єктів (зелений графік) і ті, з якими виникла помилка (червоний графік). Побачити докладний звіт про основні файли можна переходом в сусідню вкладку зі звітом.

• Як проіндексувати сайт в Яндекс? Знадобиться авторизуватися в сервісі Яндекс.Паспорт. Заходьте безпосередньо в сервіс вебмайстрів «Яндекс. Веб-майстер », вибирайте параметр «Індексування », далі — два шляхи: або вибрати параметр «Сторінки в пошуку », або його ж в історії веб-майстра. На отриманому графіку ви зможете відстежити історію. Графік йде по експоненті без різких коливань — це добра ознака: SEO просування сайту йде правильно. Якщо графік нерівний, нагадує кардіограму, це явна ознака помилок в аналізі: їх обов’язково потрібно виправити.

У разі, коли перевірка сайту Гуглом або Яндексом показує погані результати, варто упевнитися, що воно не закрите для їх уваги і усунені базові проблеми.

Матеріал по темі: Google Search Console: як додати сайт і лайфхаки для SEO

Перевірка через оператори в пошукових запитах

Індексація сайтів в Google відображається і в самому пошуковику. Для вивчення кількості проіндексованих даних в цілому можна використовувати оператор site :. Алгоритм в цьому випадку простіше простого: потрібно додати точний лінк або доменне ім’я в Гугл, проставивши перед адресою site :. Після нього без пробілів скопіюйте повний лінк. Подивіться на видачу.

До речі, не зайвим буде виконати порівняння: розпочніть пошук в Яндекс і Гугл одночасно, якщо кількість результатів видачі буде істотно відрізнятися, це ознака того, що є невиявлені помилки, що вимагають виправлення.

Щоб отримати більш детальний аналіз в Google можна зайти в розділ «Інструменти пошуку»: так ви зможете побачити, яку кількість лінків було оброблено з присвоєнням індексу за певний період часу.

Паралельно розглянемо, як перевірити індексацію сайту операторами по кожному розділу.

• Стандартна схема — все той же site :. Вставте після нього повне посилання і перегляньте результат. Відсутність результату — вірна ознака того, що сторінка не індексується.

• В цьому випадку можна задіяти спеціальні оператори. Для Гугл це — inurl :. Для Яндекса — url :. При обробці запиту з цими операторами позитивний результат означає, що розділ все ж проіндексований, негативний — його відсутність в аналітиці ПС.

З цією ж метою можна виконати таку просте дію, як подивитися кеш Гугла. Для цього достатньо перебуваючи на обраній сторінці в пошуковому рядку перед URL прописати оператор cache і натиснути Ентер.

Перевірка через плагіни і букмарклет

Дізнатися інформацію можна і без безпосередньої взаємодії з пошуковими системами і їх консолі. Досить задіяти плагіни або букмарклет — невеликі додатки, які встановлюються безпосередньо в браузер. Можна використовувати такі плагіни, як RDS bar або SEO Magic. Крім них, існують і інші мікро-програми, з якими масова перевірка індексації сторінок буде хвилинною справою.

Аналіз через сервіси для перевірки індексації

Деякі розробники софта пропонують готові рішення, як дізнатися статус в ПС. Частина з них пропонується на платній основі і дозволяє витягнути відразу безліч даних для аналізу. Є і більш прості, shareware сервіси. В них може бути присутнім обмеження за кількістю лінків, або вони можуть мати обмежений функціонал, але базові дані вони цілком можуть вам надати. До таких сервісів відносяться serphunt.ru і raskruty.ru. Для їх застосування досить перейти за адресою і слідувати простим інструкціям.

Платні версії сервісів пропонують такі компанії, як serpstat, Netpeak, Se Ranking (у останніх сервіс умовно безкоштовний, але тільки за умови, що ви вже підписані на один з платних тарифів).

Як перевірити індексацію конкретної сторінки

Як і у випадку з аналітикою в цілому, проаналізувати кожну сторінку окремо можна через Search Console Гугла. Зробити це дуже просто: скопіюйте лінк і вставте в рядок пошуку Консолі. При позитивній відповіді з’явиться відповідне інформаційне вікно.

Якщо відповідь негативна, ви можете відправити її повторно за допомогою кнопки «Запросити індексування».

Також певні URL можна протестувати через пошуковик з оператором site :, url / inurl. І, звичайно, така опція присутня в платних сервісах або плагінах для аналізу.

Чому не індексується сайт, основні помилки

Попереджений — значить, озброєний, вважаємо ми. Тому важливо знати і про головні причини, за якими пошукові боти ігнорують вас і не індексують повністю або окремі розділи.

• Часто проблема банальна: онлайн-проект був тільки створений, і пошукові павуки ще не дісталися до нього. За статистикою створення нових об’єктів в інтернеті, така ситуація не рідкість. Тому іноді не варто панікувати, досить проявити терпіння і регулярно переглядати, чи не з’явилися ваші сторінки в індексі.
• Відсутність sitemap — не критичний, але не найкращий варіант. Якщо ви не надали роботам готовий гайдлайн, вони можуть вибірково проіндексувати кілька рандомних сторінок, а решту пропустити або проігнорувати.
• Помилки в сторінках: звіти Google Search Console ігнорувати не варто. Вони показують поточні помилки сторінок, які, в свою чергу, можуть призвести до збоїв обробки пошуковими роботами.
• Недолік контенту — привід для відхилення. Контент — це не лише текстове наповнення, а й всілякі медіа-об’єкти, розташовані на сторінці.

• Проблеми з robots.txt. Якщо для мета-тега випадково був привласнений атрибут noindex, пошукові павуки його не зможуть знайти. Аналогічно з тегом X-Robots, який міг бути проставлений, як Noindex при тестуванні або виставлений випадково. Загалом, файл «роботів» варто ретельно вивчити на наявність зайвих символів або атрибутів.
• Низька унікальність контенту — теж провокує відмову. Якщо навіть ви виступаєте першоджерелом контенту, але при цьому ваші конкуренти «злизали» його і прискорено проиндексировали свій ресурс, пріоритет отримають вони, а не ви.
• Наявність дублів сторінок для Search robots — теж тривожний сигнал.

Також для відстеження причин ігнорування ботами можна подивитися статистику: можливо, причина у низькій швидкості завантаження.

Інструкція щодо прискорення індексації сайту

Індекс пошуковими системами — нагальне питання. І прискорити його варто всіма можливими способами. А їх існує не так вже й мало. Перелічимо найбільш ефективні:

• Обязательно создайте sitemap — это путеводитель для роботов-поисковиков.
• Если карта уже есть, не забывайте ее регулярно обновлять, чтобы новые страницы и обновленный контент тоже оказывался проиндексированным.
• Следите за уникальностью контента. Удаляйте тот, который показывает низкую уникальность.
• Следите, не осталось ли дублей страниц после разработки.
• Сбои при переходе по линкам и ошибочные редиректы только запутывают “пауков”.
• Постоянный контроль robots.txt — это практически профилактика здоровья вашего бизнеса онлайн.
• Отладка страниц на предмет скорости поможет ускорить процесс. Поэтому займитесь этим тоже.
• Разумное распределение ссылок на ресурсах-донорах и внутри самого ресурса позволит алгоритмам попасть к вам быстро и точно. Для этого обновлённые разделы анонсируйте в социальных сетях, выбирайте подходящих доноров и логичную перелинковку на ресурсе.
• Регулярные обновления — это сигнал роботам, что вы живёте и развиваетесь. Запомните это.
• Обов’язково створіть sitemap — це путівник для роботів-пошуковиків.
• Якщо карта вже є, не забувайте її регулярно оновлювати, щоб нові сторінки і оновлений контент теж був проіндексований.
• Слідкуйте за унікальністю контенту. Видаляйте той, що показує низьку унікальність.
• Слідкуйте, чи не залишилося дублів сторінок після розробки.
• Збої при переході за лінками і помилкові редіректи тільки заплутують «павуків».
• Постійний контроль robots.txt — це практично профілактика здоров’я вашого бізнесу онлайн.
• Налагодження сторінок на предмет швидкості допоможе прискорити процес. Тому займіться цим також.
• Розумний розподіл посилань на ресурсах-донорах і всередині самого ресурсу дозволить алгоритмам потрапити до вас швидко і точно. Для цього оновлені розділи анонсуйте у соціальних мережах, вибирайте відповідних донорів і логічну перелінковку на ресурсі.
• Регулярні оновлення — це сигнал роботам, що ви живете і розвиваєтеся. Запам’ятайте це.

Матеріал по темі: Як перевірити і збільшити швидкість завантаження сайту?

Як закрити сайт від індексації?

Існують ситуації, коли необхідно виконати і зворотну дію — не дати індексувати вас. Видалити сторінку з пошуку Гугл і закрити її від уваги ботів можна за допомогою внесення відповідних команд в robots.txt.

Для цього використовується команда Disallow.

З її допомогою можна закрити як всі, так і окремі директорії, картинки або медіа-контент.

Аналогічно можна встановити заборону і через кабінет веб-майстра. У різних CMS це може бути реалізовано в різних позиціях меню, але в цілому цілком піддається реалізації.

І, звичайно, можна запросити доступ по паролю на рівні налаштувань сервера.

Висновок

Загадкова процедура, про яку ми розповіли, не така вже й страшна, як здається на перший погляд. Вона корисна для всіх ресурсів, за винятком ще не запущених в роботу або вже застарілих. І тому відстежити відсутність файлів, дуже важливо. Ми сподіваємося, що наша стаття виявиться для вас корисною, і ваш онлайн-проект буде точно індексуватися і відображатися на самих верхніх позиціях видачі в пошукових системах.