XML Generator Sitemap Генератор
(499) 403-36-10  Россия
  • (499) 403-36-10  Россия
  • (044) 362-20-12  Украина
Пн—Пт, 11:00—19:00
Индексация кириллических доменов

Индексация сайта глазами поискового робота


Вы можете выбрать один из вариантов идентификации нашего краулера, производящего индексацию сайта:

  • Стандартный браузер – данный способ используется по умолчанию и является рекомендуемым. Ваш сайт будет загружаться в том же виде, что и обычными посетителям
  • YandexBot – данный способ позволяет индексировать Ваш сайт «глазами поискового робота» Яндекс. Наш Краулер будет обозначен как основной индексирующий робот Яндекса (YandexBot/3.0)
  • Googlebot – данный способ позволяет индексировать Ваш сайт «глазами поискового робота» Google. Краулер будет обозначен как робот веб-поиска Google (Googlebot/2.1)
  • Mysitemapgenerator – используйте прямой способ идентификации нашего робота если Вам требуются особые настройки контроля и управления доступом к веб-сайту
Обратите внимание на особенности обработки файла robotx.txt при выборе различных способов идентификации:
  • При выборе опций «YandexBot», «GoogleBot» или «Mysitemapgenerator» в файле robots.txt производится поиск наиболее релевантной секции. Если в файле присутствует секция, предназначенная для определенного робота - учитываются только директивы, соответствующие конкретному роботу (User-agent: Yandex, User-agent: Googlebot или User-agent: Mysitemapgenerator – соответственно).
    Общие директивы секции User-agent: * будут использованы только в случае отсутствия «персональных».
  • Если Вы используете опцию «Стандартный браузер» - робот будет учитывать только инструкции секции Mysitemapgenerator, а при ее отсутствии - общей секции User-agent: *. «Персональные» секции User-agent: Yandex, User-agent: Googlebot и др. в этом случае не учитываются.

Отзывы пользователей генератора SitemapОтзывы все отзывы →
добавить +
Назад
  • Сергей, pk09.ru

    Подключил сайт для генерации карты. Файлов на сайте очень много. Интересно за сколько времени будет создана карата и какое количество…

  • Владимир, bezpeka.zt.ua

    Сегодня с помощью сервиса создал карту сайта для поисковиков. Очень просто и быстро. Мне понравилось.

Вперед

Подпишитесь на нашу страницу в Facebook, чтобы быть в курсе всех новостей!

Москва: +7 (499) 403-36-10     Киев: +38 (044) 362-20-12 Поделиться сервисом!
©Sitemap Generator - онлайн генератор
VisaMasterCard Secure