Як перевірити, прискорити та закрити індексацію сторінок сайту в Google

Термін «індексація сайту» сьогодні знайомий кожному веб майстру і практично кожному власникові онлайн-бізнесу. Вона впливає на позицію, яку займає ваш ресурс в пошукових системах, і, зрозуміло, коли вона вище, користувачі, які перебувають в пошуках потрібної інформації, товарів, послуг, виявляться серед ваших клієнтів з більшою ймовірністю, адже побачать насамперед саме вас.

Відповідно, неточності індексування негативно позначаться на рейтингу в ТОП видачі, або зовсім призведуть до того, що пропозиція компанії виявиться за межами призначених для користувача запитів. Компанія Idea Digital Agency склала короткий гайд для власників онлайн-бізнесу. Ми розповімо, як перевірити індексацію сайту, і що робити, якщо він не потрапив у поле зору ботів.  

Що таке індексація сайту?

Це процедура, яка проводиться алгоритмами з використанням принципів штучного інтелекту, з метою визначити релевантність даних, їх важливість для користувачів і актуальність. Проводиться вона автоматично, а робот в ході проведення виконує певний порядок дій:

• Знаходить вас завдяки СЕО-просуванню або за допомогою зовнішніх посилань;
• Переходить за посиланням і відправляє запит на отримання контенту серверу;
• Вивчає і оцінює важливість вмісту, потім приймає рішення про індексування;
• Відправляє звіт.

У разі позитивного рішення рейтинг підвищується. Якщо дані визнані неважливими, повторної процедури чекати не доведеться до моменту виправлення недоліків, що перешкодили роботу виконати роботу.

Навіщо потрібна індексація сайтів в Google, запитаєте ви. Відповідь проста: тільки відсканований вміст, що отримав індекс від бота відображається в призначеній для користувача видачі на потрібних вам позиціях. Якщо з яких-небудь причин аналітика ботів пройшла повз або ж URL потрапили під аналіз частково, яким би чудовим не був контент, або наскільки корисними не виявилися товари, клієнти цього не дізнаються і отримають у видачі своїх запитів посилання на магазини конкурентів.

Плутати поняття сканування і індекс неправильно. Бот проводить обидві процедури. Сканувати робот може досить швидко, а індексування — більш тривалий процес.

Як прискорити індексацію сайту, розглянемо докладно далі, але головне в принципі роботи ботів-павуків — сканування HTML-коду. Тому важливо не тільки підготувати релевантний контент для сторінки, а й правильно прописати основні теги, включаючи заголовки різних рівнів, метатеги Title і Description. Це завдання краще довірити професійним оптимізаторам, якщо важливий 100% результат.

Як перевірити індексацію сайту

Якщо ви не впевнені, чи пройшов URL сканування, відзначаєте низьку відвідуваність, шукаєте причини невисокої конверсії, варто запустити перевірку URL в Гугл і на правильність обробки і її наявність. Доступні кілька способів, як це зробити, і будь-який спосіб має свої переваги. Розглянемо кожен докладніше.

Перевірка в панелі вебмайстрів

Індексація сайту в Гуглі можлива стандартним інструментом — Search Console. Виберіть розділ «Огляд» в консолі, відкрийте графічний звіт «Покриття». На графіку ви зможете побачити кількість проіндексованих безпомилково об’єктів (зелений графік) і ті, з якими виникла помилка (червоний графік). Побачити докладний звіт про основні файли можна переходом в сусідню вкладку зі звітом.

У разі, коли перевірка сайту Гуглом показує погані результати, варто упевнитися, що воно не закрите для їх уваги і усунені базові проблеми.

Матеріал по темі: Google Search Console: як додати сайт і лайфхаки для SEO

Перевірка через оператори в пошукових запитах

Індексація сайтів в Google відображається і в самому пошуковику. Для вивчення кількості проіндексованих даних в цілому можна використовувати оператор site :. Алгоритм в цьому випадку простіше простого: потрібно додати точний лінк або доменне ім’я в Гугл, проставивши перед адресою site :. Після нього без пробілів скопіюйте повний лінк. Подивіться на видачу.

Щоб отримати більш детальний аналіз в Google можна зайти в розділ «Інструменти пошуку»: так ви зможете побачити, яку кількість лінків було оброблено з присвоєнням індексу за певний період часу.

Паралельно розглянемо, як перевірити індексацію сайту операторами по кожному розділу.

• Стандартна схема — все той же site :. Вставте після нього повне посилання і перегляньте результат. Відсутність результату — вірна ознака того, що сторінка не індексується.

• В цьому випадку можна задіяти спеціальний оператор — inurl :.  При обробці запиту з цим оператором позитивний результат означає, що розділ все ж проіндексований, негативний — його відсутність в аналітиці ПС.

З цією ж метою можна виконати таку просте дію, як подивитися кеш Гугла. Для цього достатньо перебуваючи на обраній сторінці в пошуковому рядку перед URL прописати оператор cache і натиснути Ентер.

Перевірка через плагіни і букмарклет

Дізнатися інформацію можна і без безпосередньої взаємодії з пошуковими системами і їх консолі. Досить задіяти плагіни або букмарклет — невеликі додатки, які встановлюються безпосередньо в браузер. Можна використовувати такі плагіни, як RDS bar або SEO Magic. Крім них, існують і інші мікро-програми, з якими масова перевірка індексації сторінок буде хвилинною справою.

Аналіз через сервіси для перевірки індексації

Деякі розробники софта пропонують готові рішення, як дізнатися статус в ПС. Частина з них пропонується на платній основі і дозволяє витягнути відразу безліч даних для аналізу. Є і більш прості, shareware сервіси. В них може бути присутнім обмеження за кількістю лінків, або вони можуть мати обмежений функціонал, але базові дані вони цілком можуть вам надати. 

Платні версії сервісів пропонують такі компанії, як serpstat, Netpeak, Se Ranking (у останніх сервіс умовно безкоштовний, але тільки за умови, що ви вже підписані на один з платних тарифів).

Як перевірити індексацію конкретної сторінки

Як і у випадку з аналітикою в цілому, проаналізувати кожну сторінку окремо можна через Search Console Гугла. Зробити це дуже просто: скопіюйте лінк і вставте в рядок пошуку Консолі. При позитивній відповіді з’явиться відповідне інформаційне вікно.

Якщо відповідь негативна, ви можете відправити її повторно за допомогою кнопки «Запросити індексування».

Також певні URL можна протестувати через пошуковик з оператором site :, url / inurl. І, звичайно, така опція присутня в платних сервісах або плагінах для аналізу.

Чому не індексується сайт, основні помилки

Попереджений — значить, озброєний, вважаємо ми. Тому важливо знати і про головні причини, за якими пошукові боти ігнорують вас і не індексують повністю або окремі розділи.

• Часто проблема банальна: онлайн-проект був тільки створений, і пошукові павуки ще не дісталися до нього. За статистикою створення нових об’єктів в інтернеті, така ситуація не рідкість. Тому іноді не варто панікувати, досить проявити терпіння і регулярно переглядати, чи не з’явилися ваші сторінки в індексі.
• Відсутність sitemap — не критичний, але не найкращий варіант. Якщо ви не надали роботам готовий гайдлайн, вони можуть вибірково проіндексувати кілька рандомних сторінок, а решту пропустити або проігнорувати.
• Помилки в сторінках: звіти Google Search Console ігнорувати не варто. Вони показують поточні помилки сторінок, які, в свою чергу, можуть призвести до збоїв обробки пошуковими роботами.
• Недолік контенту — привід для відхилення. Контент — це не лише текстове наповнення, а й всілякі медіа-об’єкти, розташовані на сторінці.

• Проблеми з robots.txt. Якщо для мета-тега випадково був привласнений атрибут noindex, пошукові павуки його не зможуть знайти. Аналогічно з тегом X-Robots, який міг бути проставлений, як Noindex при тестуванні або виставлений випадково. Загалом, файл «роботів» варто ретельно вивчити на наявність зайвих символів або атрибутів.
• Низька унікальність контенту — теж провокує відмову. Якщо навіть ви виступаєте першоджерелом контенту, але при цьому ваші конкуренти «злизали» його і прискорено проиндексировали свій ресурс, пріоритет отримають вони, а не ви.
• Наявність дублів сторінок для Search robots — теж тривожний сигнал.

Також для відстеження причин ігнорування ботами можна подивитися статистику: можливо, причина у низькій швидкості завантаження.

Інструкція щодо прискорення індексації сайту

Індекс пошуковими системами — нагальне питання. І прискорити його варто всіма можливими способами. А їх існує не так вже й мало. Перелічимо найбільш ефективні:

• Обов’язково створіть sitemap — це путівник для роботів-пошуковиків.
• Якщо карта вже є, не забувайте її регулярно оновлювати, щоб нові сторінки і оновлений контент теж був проіндексований.
• Слідкуйте за унікальністю контенту. Видаляйте той, що показує низьку унікальність.
• Слідкуйте, чи не залишилося дублів сторінок після розробки.
• Збої при переході за лінками і помилкові редіректи тільки заплутують «павуків».
• Постійний контроль robots.txt — це практично профілактика здоров’я вашого бізнесу онлайн.
• Налагодження сторінок на предмет швидкості допоможе прискорити процес. Тому займіться цим також.
• Розумний розподіл посилань на ресурсах-донорах і всередині самого ресурсу дозволить алгоритмам потрапити до вас швидко і точно. Для цього оновлені розділи анонсуйте у соціальних мережах, вибирайте відповідних донорів і логічну перелінковку на ресурсі.
• Регулярні оновлення — це сигнал роботам, що ви живете і розвиваєтеся. Запам’ятайте це.

Матеріал по темі: Як перевірити і збільшити швидкість завантаження сайту?

Як закрити сайт від індексації?

Існують ситуації, коли необхідно виконати і зворотну дію — не дати індексувати вас. Видалити сторінку з пошуку Гугл і закрити її від уваги ботів можна за допомогою внесення відповідних команд в robots.txt.

Для цього використовується команда Disallow.

З її допомогою можна закрити як всі, так і окремі директорії, картинки або медіа-контент.

Аналогічно можна встановити заборону і через кабінет веб-майстра. У різних CMS це може бути реалізовано в різних позиціях меню, але в цілому цілком піддається реалізації.

І, звичайно, можна запросити доступ по паролю на рівні налаштувань сервера.

Висновок

Загадкова процедура, про яку ми розповіли, не така вже й страшна, як здається на перший погляд. Вона корисна для всіх ресурсів, за винятком ще не запущених в роботу або вже застарілих. І тому відстежити відсутність файлів, дуже важливо. Ми сподіваємося, що наша стаття виявиться для вас корисною, і ваш онлайн-проект буде точно індексуватися і відображатися на самих верхніх позиціях видачі в пошукових системах.