Запропонувати правкуПокращити цю статтюДопрацюйте відповідь до «Що таке сканування сайту (краулінг)?». Ваші зміни проходять модерацію перед публікацією.Потрібне підтвердженняКонтентЩо ви змінюєте🇺🇸EN🇺🇦UAПереглядЗаголовок (UA)Коротка відповідь (UA)**Сканування сайту (краулінг)** - це процес, при якому пошукові боти (краулери) обходять сторінки сайту, щоб виявити, що на них є. **Ключове:** краулінг не дорівнює індексуванню - бот може просканувати сторінку, але не включити її в індекс.Показується над повною відповіддю для швидкого нагадування.Відповідь (UA)Зображення**Сканування сайту (краулінг)** - це процес, при якому пошукові боти (краулери) **обходять сторінки сайту, щоб виявити, що на них є**. --- ### Як це працює: 1. **Бот заходить на сайт за посиланням** Наприклад, Googlebot починає з головної сторінки або зовнішнього посилання. 2. **Читає HTML-код** Витягує текст, заголовки, посилання, зображення, мета-теги. 3. **Знаходить нові посилання** Бот переходить по них і сканує далі - це і є "повзання" по сайту (crawl). 4. **Зберігає дані** Все знайдене передається на індексацію - щоб пізніше показати в пошуку. --- ### Що впливає на краулінг: - **robots.txt** - може заборонити доступ до окремих розділів. - **Швидкість сервера** - якщо сайт повільний, бот заходитиме рідше. - **Внутрішня перелінковка** - чим краща структура посилань, тим глибше бот проходить. - **Краул-бюджет** - ліміт на кількість сторінок, які бот готовий переглянути на сайті. --- ### Важливо: **Краулінг ≠ індексування**. Бот може просканувати сторінку, але **не включити її в індекс** (наприклад, через `noindex`, дубль або порожній контент). --- **Висновок:** Краулінг - це як розвідка: бот вивчає сайт, щоб вирішити, що з цього варто зберегти і показати користувачам.Для рев’юераПримітка для модератора (необов’язково)Бачить лише модератор. Прискорює рев’ю.