Що таке сканування сайту (краулінг)?

Сканування сайту (краулінг) - це процес, при якому пошукові боти (краулери) обходять сторінки сайту, щоб виявити, що на них є.

---

#Як це працює:

1. Бот заходить на сайт за посиланням Наприклад, Googlebot починає з головної сторінки або зовнішнього посилання.
2. Читає HTML-код Витягує текст, заголовки, посилання, зображення, мета-теги.
3. Знаходить нові посилання Бот переходить по них і сканує далі - це і є "повзання" по сайту (crawl).
4. Зберігає дані Все знайдене передається на індексацію - щоб пізніше показати в пошуку.

---

#Що впливає на краулінг:

• robots.txt - може заборонити доступ до окремих розділів.
• Швидкість сервера - якщо сайт повільний, бот заходитиме рідше.
• Внутрішня перелінковка - чим краща структура посилань, тим глибше бот проходить.
• Краул-бюджет - ліміт на кількість сторінок, які бот готовий переглянути на сайті.

---

#Важливо:

Краулінг ≠ індексування. Бот може просканувати сторінку, але не включити її в індекс (наприклад, через noindex, дубль або порожній контент).

---

Висновок: Краулінг - це як розвідка: бот вивчає сайт, щоб вирішити, що з цього варто зберегти і показати користувачам.