У цій статті ми обговоримо найпоширенішу проблему – чому пошукова система не індексує ваш веб-сайт. Якщо ваш сайт не відображається в результатах пошуку Google, більшість потенційних відвідувачів ніколи не зайде на нього, та й в цілому рівень органічного трафіку буде близький до 0. Але не хвилюйтесь, ми, спеціалісти компанії WPHost, готові допомогти вам вирішити цю проблему. Далі розберемо, як в найкоротші терміни досягти позитивних результатів щодо індексації вашого сайту в пошукових системах.

Чому ваш сайт може бути не проіндексований?

Є кілька причин, через які ваш сайт може не індексуватися пошуковими системами. Давайте розглянемо найпоширеніші причини та опишемо ефективні варіанти рішення цих проблем:

Помилки у файлі robots.txt

Файл robots.txt призначений для вказівки пошуковим роботам, які сторінки вашого сайту слід індексувати, а які виключати з індексу. Помилки у цьому файлі можуть призвести до неправильної індексації. Переконайтеся, що файл robots.txt налаштований коректно та інструкції в ньому не блокують доступ пошукового бота до важливих сторінок вашого сайту.

Фізично файл повинен розміщуватись у кореневій папці вашого сайту та мати назву robots.txt 

Найшвидший спосіб перевірити наявність цього файлу, це ввести в адресний рядок вашого браузера наступну адресу https://ваш-сайт/ robots.txt

Якщо ви побачите схожу сторінку, як на прикладі нижче, то сам файл у вас є, і ви можете перейти до його налаштування:

Ось інструкція від Google з налаштування robots.txt . Після налаштування даного файлу вам потрібно його перевірити, але перед цим потрібно додати ваш сайт у панель вебмайстрів Google.

Як перевірити чи є у вас на сайті сторінки, які закриті від індексації за допомогою файлів robots.txt?

Перейдіть до Google Search Console, далі розділ “Індексування — Сторінки“. Праворуч оберіть сторінки, які не в індексі, встановивши відповідну галочку на сірому фоні, натисніть на “Заблоковано файлом robots.txt“:

Проблеми з мета-тегами та заголовками сторінок

Мета-теги та заголовки сторінок є важливими елементами, які допомагають пошуковим системам зрозуміти зміст вашого сайту. Переконайтеся, що кожна сторінка вашого сайту має унікальні та інформативні мета-теги та заголовки, що містять ключові слова, які відображають зміст сторінки.

Найшвидший варіант перевірки на наявність заборон на індексацію сторінок за допомогою мета тега «robots» – є Google Search Console.

Перейдіть до Google Search Console, далі розділ “Індексування — Сторінки“. Праворуч виберіть сторінки, які не в індексі, встановивши відповідну галочку на сірому фоні, потім натисніть “Виключено тегом noindex“:

Мета тег “robots” в коді сторінок виглядає так <meta name="robots" content="noindex">

Якщо цей тег присутній на сторінці, потрібно звернути увагу на його значення, а саме content="noindex", яке забороняє роботам пошукових систем звертати увагу на цю сторінку. Якщо сторінка повинна індексуватись – Вам потрібно змінити значення на content="index" або видалити цей мета-тег взагалі.

Недостатня кількість та якість контенту

Контент – це один з основних факторів, що впливають на індексацію та ранжування веб-сайтів. Якщо на вашому сайті немає достатньої кількості унікального та якісного контенту, пошукові системи можуть вирішити не індексувати його. Створіть інформативні та оригінальні статті, сторінки та блоги, які зацікавлять відвідувачів та привернуть увагу пошукових систем.

Помилки у файлі sitemap.xml

Файл sitemap.xml надає пошуковим системам інформацію про структуру вашого сайту та допомагає їм зрозуміти, які сторінки потрібно індексувати. Перевірте файл sitemap.xml на наявність помилок і переконайтеся, що він містить усі важливі сторінки вашого сайту.

Фізично файл зазвичай розміщується у кореневій папці вашого сайту. Найшвидший спосіб перевірити наявність цього файлу, це ввести в адресний рядок вашого браузера наступну адресу https://ваш-сайт/sitemap.xml

Зверніть увагу! У деяких CMS фізично файла може не бути.

Якщо ввівши в браузері посилання https://ваш-сайт/sitemap.xml ви бачите, що сторінка не знайдена:

  • перевірте коректність введення адреси
  • переконайтеся, що у вашій CMS включена функція генерації картки сайту (якщо така є)
  • можливо у вашій CMS посилання на карту сайту виглядає інакше, таке теж може бути.

Після того як ви дізналися коректне посилання на sitemap вашого сайту, його потрібно додати до Google Search Console.

Перейдіть до Google Search Console, далі розділ “Індексування – Файли Sitemap“. Праворуч у розділі “Додати новий файл Sitemap” вкажіть посилання на вашу карту сайту без назви вашого доменного імені та натисніть «Подати»

Помилки 404

У відповідь на запит пошукового бота сторінка повертає не коректну помилку 404. Тобто користувач бачить повідомлення на сайті з текстом на зразок “не знайдено”, але сайт/сервер не передає код відповіді HTTP 404.

Рекомендується використовувати код відповіді 404 (“не знайдено”) у тих випадках, коли є помилка цього типу. Щоб дізнатися, як саме сторінка виглядає в результатах пошуку Google, перевірте URL-адресу опублікованої сторінки через Search Console. Потім натисніть Переглянути перевірену сторінку, і ви побачите скріншот того, як Google відображає сторінку. Дізнайтеся, як виправити помилкову помилку 404.

Сторінка з переспрямуванням (сторінка з редіректом)

Мова про неканонічний URL, під час звернення до якого відбувається редірект (перенаправлення) на іншу сторінку. Така сторінка не буде проіндексована пошуковою системою, а сторінка, куди відбувається перенаправлення, може бути проіндексована Google.

Канонічний URL (урл, який гугл вважає “головним” серед усіх його копій), що має перенаправлення, при цьому, може бути проіндексовано.

Під час тестування сторінки в пошуковій консолі виконуються усі перенаправлення і перевіряється вже кінцеве посилання. Але в результат перевірки не буде окремо вказано, що були виконанні перенаправлення.

Помилки 403 та 5xxx

Під час звернення до сторінки сервер повернув пошуковому боту помилку з відповідним кодом. За виправлення даних помилок відповідає ваш адміністратор сайту (вебмайстер) , в більшості є якісь програмні проблеми чи заборони, що заважають пошуковику отримати доступ до сторінки.

Чек-лист або швидкі кроки для вирішення проблеми з непроіндексованим сайтом:

  1. Перевірте файл robots.txt і переконайтеся, що він не блокує важливих сторінок вашого сайту.
  2. Оптимізуйте мета-теги та заголовки сторінок, щоб вони були інформативними та містили ключові слова.
  3. Створіть унікальний та якісний контент для кожної сторінки вашого сайту.
  4. Перевірте файл sitemap.xml на наявність помилок і переконайтеся, що він містить усі важливі сторінки вашого сайту.
  5. Додайте свій сайт у Google Search Console та виконайте його переіндексацію.