Що таке індексація сайту та як її швидко перевірити

Який би сайт ви не створювали, його розробка — лише половина справи. Далі починається найцікавіше – просування. Адже необхідно зробити так, щоб сайт висвітлювався у видачі на певний запит. А як дізнатися, чи відображатиметься він? Для цього виконується перевірка індексації.

Дізнаємось, що таке індексація, як вона відбувається, у чому відмінності індексування різними пошуковими системами. Про це і навіть більше йтиметься у сьогоднішній статті.

Що таке індексація сайту в пошукових системах

Індексація є процедурою збору, перевірки та збереження даних про конкретний ресурс у базі пошукових систем. Цим займаються роботи, які повністю оминають сайт та з урахуванням своїх алгоритмів збирають відомості. При цьому саме сканування може виконуватися швидко, а на потрапляння в пошуковий індекс часто потрібно більше часу.

Читайте також: Як додати сайт до пошукових систем .

Як відбувається індексація?

Щоб краще зрозуміти принципи цього процесу, варто детальніше розглянути два основні етапи роботи пошукових систем.

Сканування

Це головне завдання робота. При вході на нову сторінку робот отримує 2 набори даних:

• вміст, відомості про сервер та службові дані;
• Список посилань на сторінці.

Все це прямує далі на обробку та збереження. Посилання, які потрапили під сканування, також зберігаються в окремому розділі "Черга сканування". І коли робот додає сторінку до черги індексації, а вона вже тут стоїть, їй відводиться близьке місце у черзі. Отже, процес відбувається швидше.

Таким чином, перший ефективний метод прискорити сканування – наростити кількість посилань на потрібні сторінки.

Другий і найпростіший спосіб покращити індексацію – зробити sitemap.xml. Таким чином ви покажете пошуковику те, що потрібно відсканувати сторінки на домені.

Третій спосіб прискорення індексації – повідомити роботу про дату останніх змін на сторінці. Для цього бот використовує відомості із заголовка відповіді сервера lastmod. Надіслати відомості про зміни вийде кодом not modify. Для налаштування кодів потрібно буде запитати на допомогу веб-розробника.

Обробка даних

До збереження відомостей у основі вони обробляються і наводяться у нормальну структуру, що необхідне подальшого швидкого пошуку. На початковому етапі сервіс формує сторінку, враховуючи стилі, скрипти і т.д. Під час цього програма бачить місцезнаходження елементів на сторінці, знаходить відкриті та закриті для відвідувачів частини, ділить сторінку на навігацію та контент.

Важливий момент . Пошуковий робота повинен мати доступ до css і js. В іншому випадку він не зрозуміє структуру сторінки. Щоб дізнатися, чи є цей доступ, увійдіть у консоль від Google — звіт «Подивитися як Googlebot» — «Сканування». Тут виконайте перевірку сторінок ресурсу та знайдіть відмінності її відображення для робота та відвідувачів.

Як індексують сайти «Яндекс» та Google

На просторах нашої країни ці пошукові системи популярні, тому ресурси додаються до їхньої бази. Але потрібно ще враховувати, що індексація сайту в пошукових системах Яндекс і Google має деякі відмінності.

Наприклад, фахівці відзначають нижчу швидкість дії роботів російської пошукової системи. Але при цьому індексація сайту в «Яндексі» спрямована на справді корисні матеріали, а всі зайві відсіваються. Крім того, пошукова система орієнтована на пошук за запитами з конкретних місць розташування. Втім, саме регіональність сильно відрізняє «Яндекс» від «Гугла» і цим вимагає специфічного підходу до seo-просування .

Особливість Google – у його універсальності. Адже пошукова система працює по всьому світу, а не лише у країнах СНД та РФ. При цьому алгоритми Google змінюються зі швидкістю світла, але такий важливий показник, як вага сторінки, досі має значення в ранжируванні. Він перебуває у категорії основних параметрів, якими можна індексуватися. З останніх актуальних тенденцій – mobile-first. Пошуковик дуже велике значення надає якості мобільних версій сайтів. Причому навіть так: спершу мобільна, потім десктопна. Тобто для прискорення індексації необхідно добре адаптувати ресурс під різні пристрої.

З урахуванням особливостей роботи Google, швидкість індексації відносно висока. Нові сторінки майже миттєво з'являються у видачі, щойно пошукові роботи їх оцінили. Якщо сайту дано позитивну оцінку, практично зі 100% ймовірністю індексація сторінки пройде успішно.

Як довго сайт може індексуватись

У довідці Google є згадка про те, що індексація сторінок сайту займає від кількох днів до тижнів. Іноді процес затягується на місяці. І навіть якщо ви повторно надсилатимете запити на сканування одного і того ж урла, це не принесе особливого результату.

Щодо внесених на сторінці змін, точних даних про час індексації теж немає. Пошукові роботи діють у певному темпі, і крім частоти оновлень, вони беруть до уваги інші фактори. Щоб бот заходив на вашу сторінку якнайчастіше, додавайте нову інформацію.

Як прискорити індексацію сторінки

На цей процес ви можете частково вплинути. Адже швидкість індексації визначається низкою конкретних факторів:

• авторитетність ресурсу та його користь;
• жодних помилок під час індексації;
• якість наповнення;
• внутрішні та зовнішні посилання;
• коректність заповнення файлів тощо.

Щоб сторінка індексувалася швидше, ви можете виконати такі дії:

1. Вибрати добрий хостинг.
2. Поставити вручну ресурс на індексацію.
3. Правильно виконати налаштування robots.txt;
4. Створити файл карти сайту та залишити його в корені коду.
5. Перевірити якість текстів та входження до них ключових слів.
6. Періодично додавати нові матеріали на сайті, налаштувавши при цьому перелінкування.
7. Доопрацювати навігацію з упором на принципи юзабіліті.
8. Здійснити зовнішню оптимізацію.

Є ще одна корисна фішка: стискайте картинки, оскільки важкі гальмують завантаження сторінки. А швидкість – один із найважливіших факторів ранжирування.

Коли варто переіндексувати сайт чи сторінку?

Переіндексація означає повторний обхід сторінки пошуковими ботами та оновлення відомостей про неї у кеші. Надсилання запитів на сканування необов'язкове, але з її допомогою можна прискорити вхід робота на ваш ресурс. Враховуйте, що бот у будь-якому випадку автоматично повертатиметься, щоб прочитати оновлену на ньому інформацію. Таким чином, ви за фактом можете запросити його на сайт вручну, але в цьому немає особливого сенсу. Досі на 100% невідомо, чи це позначається на швидкості.

Як перевірити індексацію сайту

Ознайомимось із ключовими способами, які допоможуть перевірити індексацію конкретної сторінки у пошуку.

Перевірка індексації у «Гугле»

Авторизуйтесь у Google Search Console, скопіюйте урл та натисніть кнопку «Додати ресурс»:

Коли підтвердите права на сайт, йдіть шляхом «Індекс» — «Покриття»:

Тільки обов'язково беріть до уваги те, що в інструменті дані є приблизними. Звіт відображає статистику останнього обходу. У результаті кількість сторінок може бути іншим, ніж при поточній оцінці.

Перевірка індексації у «Яндекс»

Спочатку увійдіть до свого облікового запису на «Яндекс.Вебмайстер» і перейдіть в сервіс «Вебмайстер». Тут вкажіть урл і натисніть «Додати»:

Коли верифікація завершиться, перейдіть на панель і натисніть «Сторінки в пошуку». Тут будуть ті урли, які є у видачі "Яндекса":

Ще кількість проіндексованих сторінок доступна у розділі «Мої сайти»:

Перевірка за допомогою операторів

За допомогою оператора «site» також можна переглянути приблизну кількість сторінок в індексі. Щоб використати параметр, вкажіть в адресному рядку «site:адреса_потрібного_сайту». Наприклад: site:https:/:

Аналіз індексації через плагіни та розширення

Можна обійтися без введення операторів у браузерному рядку. Завантажте букмарклет для браузера і натисніть кнопку, перебуваючи на потрібній сторінці:

Застосування онлайн-сервісів

Показуємо ще один метод, як перевірити індексацію всього сайту за допомогою сторонніх інструментів. Наприклад, a.pr-cy.ru. Перейдіть на цей сайт, вкажіть урл і натисніть «Аналізувати»:

Ми бачимо результати:

Як часто варто перевіряти індексацію сайту

Пошуковики сприймають ресурси не так, як реальні відвідувачі. На відміну від людей, вони бачать всю таємничу сайту. І якщо вчасно не зупинити робота, він почне сканувати всі сторінки, в тому числі і не дуже бажані.

Потрібно враховувати й обмежені ресурси роботи роботів. За конкретний час пошукова система обходить кілька сторінок. Якщо у вас повно сміттєвих урлів, є ймовірність, що бот витратить час саме на них. У результаті важливі залишаться "на потім".

Звідси висновок : перевіряти проіндексовані сторінки сайту та керувати ним необхідно. Конкретна частота особливого значення немає. Можете виконувати перевірку тоді, коли вам хочеться і є на цей час. Головне – не закидати процес.

Що робити, якщо веб-сайт погано індексується?

Спочатку дізнайтеся, чи закритий сайт від індексації. Це доступно через Google Search Console. Спочатку скопіюйте урл сторінки, перейдіть в інструмент і введіть адресу в поле «Перевірка URL на ресурсі».

У результаті у вас на руках будуть дані про заборону індексації

Якщо ви знайшли закриті сторінки, які вже час надіслати на індексацію, дайте доступ до них.

Далі можете скористатися такими порадами:

• створіть карту сайту та додайте до інструментів для вебмайстрів;
• наповніть новим контентом або заберіть повністю порожні сторінки;
• додайте зовнішні посилання із зовнішніх ресурсів.

Згадувалося, що на індексування впливають багато чинників. Пройдіться ними, якщо бачите проблеми з процесом. Але не забувайте про те, що все це займає час і чекати, що індексація сайту в пошукових системах буде надмірно швидкою, не варто.

Як заборонити індексацію сайту чи окремої сторінки

Ви можете закрити ресурс або певну сторінку від індексації. Навіщо це робити? Справа в тому, що пошуковим роботам подобаються не всі сторінки. Тим більше, деякі можуть перебувати в цей час у розробці. Таким сторінкам краще поки не траплятися ботам на очі. Для цього вам достатньо заборонити індексацію одним із запропонованих способів:

1. Командою Disallow у robots.txt . Тут задаються правила для роботів: які сторінки можна сканувати, а які під забороною. Задайте команду Disallow, щоб закрити доступ для пошукового робота.
2. Тег noindex в HTML-код сторінки . Один із найлегших способів. Ви забороняєте роботу індексувати певну сторінку або тип сторінок.
3. Авторизацією . На деяких сторінках можна закрити доступ за допомогою форми авторизації. Цей спосіб вважається найбільш надійним, оскільки у випадку з командою Disallow і тегом noindex сайт все ж таки може опинитися у видачі. Це актуально для сторінок, на які йдуть посилання з інших.

Можливість закриття сторінки від індексу необхідна для роботи з ресурсами. Обов'язково користуйтеся такою опцією, щоб результативніше розкручуватися в пошуковій системі.

Резюме

Ми дізналися, як відбувається індексація сайту, як її перевірити, як встановити обмеження на сканування сторінок. Вивчили також основні чинники, що впливають процес. Розуміння індексації насправді необхідне грамотного просування сайту. Без цього ви просто не зможете досягти хороших позицій у видачі і наводити на ресурс достатньо трафіку. Бути в індексі на хорошому рахунку = гарантувати успішну розкрутку та високі конверсії.