У цій статті ми обговоримо найпоширенішу проблему – чому пошукова система не індексує ваш веб-сайт. Якщо ваш сайт не відображається в результатах пошуку Google, більшість потенційних відвідувачів ніколи не зайде на нього, та й в цілому рівень органічного трафіку буде близький до 0. Але не хвилюйтесь, ми, спеціалісти компанії WPHost, готові допомогти вам вирішити цю проблему. Далі розберемо, як в найкоротші терміни досягти позитивних результатів щодо індексації вашого сайту в пошукових системах.
Є кілька причин, через які ваш сайт може не індексуватися пошуковими системами. Давайте розглянемо найпоширеніші причини та опишемо ефективні варіанти рішення цих проблем:
Файл robots.txt призначений для вказівки пошуковим роботам, які сторінки вашого сайту слід індексувати, а які виключати з індексу. Помилки у цьому файлі можуть призвести до неправильної індексації. Переконайтеся, що файл robots.txt налаштований коректно та інструкції в ньому не блокують доступ пошукового бота до важливих сторінок вашого сайту.
Фізично файл повинен розміщуватись у кореневій папці вашого сайту та мати назву robots.txt
Найшвидший спосіб перевірити наявність цього файлу, це ввести в адресний рядок вашого браузера наступну адресу https://ваш-сайт/ robots.txt
Якщо ви побачите схожу сторінку, як на прикладі нижче, то сам файл у вас є, і ви можете перейти до його налаштування:
Ось інструкція від Google з налаштування robots.txt . Після налаштування даного файлу вам потрібно його перевірити, але перед цим потрібно додати ваш сайт у панель вебмайстрів Google.
Перейдіть до Google Search Console, далі розділ “Індексування — Сторінки“. Праворуч оберіть сторінки, які не в індексі, встановивши відповідну галочку на сірому фоні, натисніть на “Заблоковано файлом robots.txt“:
Мета-теги та заголовки сторінок є важливими елементами, які допомагають пошуковим системам зрозуміти зміст вашого сайту. Переконайтеся, що кожна сторінка вашого сайту має унікальні та інформативні мета-теги та заголовки, що містять ключові слова, які відображають зміст сторінки.
Найшвидший варіант перевірки на наявність заборон на індексацію сторінок за допомогою мета тега «robots» – є Google Search Console.
Перейдіть до Google Search Console, далі розділ “Індексування — Сторінки“. Праворуч виберіть сторінки, які не в індексі, встановивши відповідну галочку на сірому фоні, потім натисніть “Виключено тегом noindex“:
Мета тег “robots” в коді сторінок виглядає так <meta name="robots" content="noindex">
Якщо цей тег присутній на сторінці, потрібно звернути увагу на його значення, а саме content="noindex", яке забороняє роботам пошукових систем звертати увагу на цю сторінку. Якщо сторінка повинна індексуватись – Вам потрібно змінити значення на content="index" або видалити цей мета-тег взагалі.
Контент – це один з основних факторів, що впливають на індексацію та ранжування веб-сайтів. Якщо на вашому сайті немає достатньої кількості унікального та якісного контенту, пошукові системи можуть вирішити не індексувати його. Створіть інформативні та оригінальні статті, сторінки та блоги, які зацікавлять відвідувачів та привернуть увагу пошукових систем.
Файл sitemap.xml надає пошуковим системам інформацію про структуру вашого сайту та допомагає їм зрозуміти, які сторінки потрібно індексувати. Перевірте файл sitemap.xml на наявність помилок і переконайтеся, що він містить усі важливі сторінки вашого сайту.
Фізично файл зазвичай розміщується у кореневій папці вашого сайту. Найшвидший спосіб перевірити наявність цього файлу, це ввести в адресний рядок вашого браузера наступну адресу https://ваш-сайт/sitemap.xml
Зверніть увагу! У деяких CMS фізично файла може не бути.
Якщо ввівши в браузері посилання https://ваш-сайт/sitemap.xml ви бачите, що сторінка не знайдена:
Після того як ви дізналися коректне посилання на sitemap вашого сайту, його потрібно додати до Google Search Console.
Перейдіть до Google Search Console, далі розділ “Індексування – Файли Sitemap“. Праворуч у розділі “Додати новий файл Sitemap” вкажіть посилання на вашу карту сайту без назви вашого доменного імені та натисніть «Подати»
Чек-лист або швидкі кроки для вирішення проблеми з непроіндексованим сайтом: