Що робить директива User-agent?

SEOMiddle~1 хв читання

Директива User-agent у файлі robots.txt визначає, до якого пошукового робота належить набір правил, вказаних нижче. Простіше кажучи, вона задає адресата: кому саме застосовуються Allow, Disallow та інші директиви.

Можна:

задавати правила для всіх роботів, використовуючи User-agent: *
задавати правила конкретному роботу, наприклад:
- User-agent: Googlebot
- User-agent: Bingbot

Приклад:

javascript

User-agent: *
Disallow: /tmp/

User-agent: Googlebot
Allow: /

У цьому прикладі:

усі роботи не можуть сканувати /tmp/
Googlebot може сканувати весь сайт без обмежень

Підсумок: User-agent - це вказівник на того робота, для якого написані наступні правила в блоці.

Коротка відповідь

Для співбесіди

Premium

Коротка відповідь допоможе вам впевнено відповідати на цю тему під час співбесіди.