Що робить директива Disallow у robots.txt?

SEOMiddle~1 хв читання

Директива Disallow у файлі robots.txt вказує пошуковим роботам, які сторінки чи каталоги не можна сканувати й індексувати. Вона забороняє доступ до вказаних шляхів, щоб пошуковик не заходив у певні розділи сайту - наприклад, на службові сторінки, адміністративні панелі чи дублі контенту.

Приклад:

javascript

User-agent: *
Disallow: /admin/
Disallow: /cart

У цьому випадку роботи не будуть сканувати розділ /admin/ та сторінку /cart.

Важливо розуміти: Disallow не приховує сторінку від пошуковика повністю. Якщо на заборонену сторінку ведуть зовнішні посилання, вона все одно може з'явитися у видачі, але без вмісту. Для повного приховування використовують noindex (у метатегу) або заборону через HTTP-заголовки.

Коротка відповідь

Для співбесіди

Premium

Коротка відповідь допоможе вам впевнено відповідати на цю тему під час співбесіди.