Mysitemapgenerator / Справочный центр / Индексация сайта

Как будут обработаны веб-страницы, на которых используються метатеги robots или заголовки X-Robots-Tag?

При активных соответствующих опциях страницы будут обработаны в соответствии с установленными значениями метатегов robots (noindex, nofollow).
При необходимости, Вы всегда можете применить обработку только noindex или только nofollow независимо друг от друга.
Теги, предназначенные для определенных поисковых роботов (Googlebot или Yandex) учитываются при выборе соответствующего варианта идентификации краулера в качестве поискового робота.
Так же, Вы можете использовать на веб-страницах метатеги для робота Mysitemapgenerator, которые будет учитываться при выборе прямой идентификации наших роботов.
Примеры использования метатегов robots:

    <meta name="robots" content="noindex" />
    /*для всех поисковых роботов сообщается, что страницу не следует
    индексировать, но разрешается следовать по размещенным на ней ссылкам*/
    
    <meta name="robots" content="nofollow" />
    /*для всех поисковых роботов запрещена только индексация ссылок,
    которые размещены на веб-странице*/
    
    <meta name="robots" content="noindex,nofollow" />
    /*для всех поисковых роботов запрещена индексация страницы и ссылок,
    которые на ней могут быть размещены*/

Примеры использования HTTP-заголовков X-Robots-Tag:

    X-Robots-Tag: noindex
    
    X-Robots-Tag: nofollow
    
    X-Robots-Tag: noindex, nofollow