Що таке robots metadata?

Next.jsMiddle~1 хв читання

Robots metadata - це метадані, які повідомляють пошуковим роботам, що можна і не можна робити з конкретною сторінкою: індексувати її, переходити за посиланнями, показувати сніпети тощо.

Простіше кажучи:

robots metadata - це правила поведінки для пошукових ботів.

Навіщо потрібен robots metadata

Він дозволяє керувати тим, як сторінка бере участь у пошуку:

чи потрапить сторінка в індекс
чи будуть враховані посилання на сторінці
чи можна показувати прев'ю, описи та кеш
чи потрібно приховати службові або тимчасові сторінки

Як виглядає robots metadata в HTML

Класичний варіант:

html

<meta name="robots" content="noindex, nofollow" />

Пошукові боти читають цей тег під час обходу сторінки.

Robots metadata в Next.js

У Next.js robots задається через Metadata API:

export const metadata = {
  robots: {
    index: false,
    follow: false
  }
}

Next.js сам перетворить це на коректний <meta name="robots">.

Основні директиви

Найчастіше використовувані:

index / noindex - чи можна додавати сторінку в пошук
follow / nofollow - чи можна переходити за посиланнями
noimageindex - не індексувати зображення
nosnippet - не показувати сніпет
noarchive - не зберігати копію сторінки

Можна комбінувати кілька правил.

Приклади використання

Закрити сторінку від індексації

export const metadata = {
  robots: {
    index: false
  }
}

Дозволити індекс, але заборонити посилання

export const metadata = {
  robots: {
    index: true,
    follow: false
  }
}

Службові сторінки

Підходить для:

/login
/admin
/profile
сторінок помилок
тимчасових сторінок

Robots metadata ≠ robots.txt

Важливо не плутати:

robots metadata
- працює на рівні конкретної сторінки
- читається після завантаження HTML
robots.txt
- працює на рівні всього сайту
- керує обходом, а не індексацією

Вони вирішують різні задачі і часто використовуються разом.

Успадкування

Як і інші метадані:

robots можна задати в layout'і
сторінки можуть перевизначати правила
діє найближче правило в ієрархії

Підсумок

Robots metadata - це:

інструкції для пошукових ботів
контроль індексації сторінок
частина SEO-стратегії
зручне налаштування через Metadata API

Коротка відповідь

Для співбесіди

Premium

Коротка відповідь допоможе вам впевнено відповідати на цю тему під час співбесіди.