Як обробляються веб-сторінки, які використовують метатег robots або HTTP-заголовок X-Robots-Tag?
Якщо відповідні параметри активні, сторінки будуть оброблятися відповідно до заданих значень (noindex, nofollow).
При необхідності ви завжди можете застосувати обробку тільки noindex або тільки nofollow незалежно один від одного.
Теги, призначені для певних пошукових роботів (наприклад, Googlebot), враховуються під час вибору відповідного параметра ідентифікації сканера в якості пошукового робота.
Крім того, ви можете використовувати мета-теги на веб-сторінках для нашого робота, що буде враховано при виборі прямої ідентифікації нашого бота.
Приклади використання метатегу robots:
<meta name="robots" content="noindex" />
<meta name="robots" content="nofollow" />
<meta name="robots" content="noindex,nofollow" />Приклади використання HTTP-заголовків X-Robots-Tag:
X-Robots-Tag: noindex
X-Robots-Tag: nofollow
X-Robots-Tag: noindex, nofollow
