Робот MySitemapGenerator.com

Робот Mysitemapgenerator - это веб-краулер, предназначенный для веб-сервисов MySitemapGenerator. Это программное обеспечение используется нашими пользователями для сканирования своих веб-сайтов с целью создания специальных файлов XML, которые помогают улучшить видимость веб-сайтов в поисковых системах или настроить рекламные кампании.

Чтобы предотвратить чрезмерную нагрузку на веб-сервер, интенсивность сканирования строго ограничена.

Робот Mysitemapgenerator соблюдает Стандарт исключений для роботов по умолчанию.

Как управлять доступом робота MySitemapGenerator к вашему сайту?

Чтобы контролировать, как наш робот взаимодействует с вашим веб-сайтом, есть два варианта:

Файл robots.txt
HTTP-заголовок или HTML-метатег X-Robots-Tag

Какую строку пользовательского агента следует использовать для этого?

Для robots.txt:

    User-agent: Mysitemapgenerator

Для мета-данных:

    <meta name="Mysitemapgenerator" />

Для HTTP-заголовков:

    X-Robots-Tag: Mysitemapgenerator