XML Generator Sitemap Генератор
Рус Eng
(499) 403-36-10  Москва
  • (499) 403-36-10  Москва
  • (044) 362-20-12  Киев
Пн—Пт, 11:00—19:00
Индексация кириллических доменов

Будут ли учтены запреты индексации, прописанные в robots.txt?


Опционально. При отмеченной опции робот учитывает инструкции Allow и Disallow общей секции User-agent: *
«Персональные» секции (User-agent: Googlebot или User-agent: Yandex) учитываются при выборе соответствующего варианта идентификации краулера в качестве поискового робота.
Так же, Вы можете создать секцию User-agent: Mysitemapgenerator, которая будет учитываться при выборе прямой идентификации наших роботов (Mysitemapgenerator-HTTP или Mysitemapgenerator-Mobile - для Sitemap mobile).
Ниже приведен пример файла robots.txt с использованием различных секций:

    #Запрещает всем роботам индексацию директории
    User-agent: *
    Disallow: /noindex-directory/
    
    #Запрещает роботу Google индексацию отдельной страницы
    User-agent: Googlebot
    Disallow: /noindex-directory/disallow-google.html
    
    #Запрещает роботу Яндекса индексацию директории
    #Но разрешает индексацию отдельной страницы
    User-agent: Yandex
    Disallow: /noindex-directory/
    Allow: /noindex-directory/allow-yandex.html
    
    #Запрещает роботу Mysitemapgenerator индексацию директории
    #Но разрешает индексацию всех страниц из этой директории
    #с расширением .html
    User-agent: Mysitemapgenerator
    Disallow: /noindex-directory/
    Allow: /noindex-directory/*.html

Отзывы пользователей генератора SitemapОтзывы все отзывы →
добавить +
Назад
  • Андрей, aro.su

    Отличный сервис. Каждый день захожу сюда. Карты в xml лучше всего здесь делать.

  • Николай, bezlogiki.ru

    Отличный генератор... когда надо быстро и сразу-самое то!

Вперед

Подпишитесь на нашу страницу в Facebook, чтобы быть в курсе всех новостей!

Москва: +7 (499) 403-36-10     Киев: +38 (044) 362-20-12 Поделиться сервисом!
©Sitemap Generator - онлайн генератор
VisaMasterCard Secure