XML Generator Sitemap Генератор
Рус Eng
(499) 403-36-10  Москва
  • (499) 403-36-10  Москва
  • (044) 362-20-12  Киев
Пн—Пт, 11:00—19:00
Индексация кириллических доменов

Почему не индексируется сайт: возможные причины

Возможные проблемы с индексацией сайта сканером MySitemapGenerator

В случае, если проиндексировать Ваш сайт не удалось, робот попытается выдать сообщение с описанием вероятной причины. Тем не менее, генератору не всегда удается достоверно определить проблему. Чтобы у нашего робота не возникло проблем с индексацией Вашего сайта, пожалуйста, ознакомьтесь с приведенным ниже списком основных ошибок, которые могут помешать индексации.

1. Проверьте Ваш файл robots.txt

Не правильно составленный файл robots.txt может закрыть Ваш сайт от всех поисковых роботов, в том числе и от нашего сканера.

Возможная ошибка – наличие такой инструкции в файле robots.txt:

User-agent: *
Disallow: /

Если Вы намерено закрываете сайт от индексации поисковыми системами, но хотите чтобы робот MySitemapGenerator проиндексировал Ваш сайт – снимите отметку «Учитывать инструкции robots.txt».

2. Убедитесь, что страницы домена возвращает статус «HTTP 200 Ok»

«HTTP 200 Ok» означает успешный запрос ресурса. Любой другой ответ Вашего сервера будет проигнорирован сканером.

Так же сканер поддерживает обработку серверных редиректов 301, 302, 303 и 307.

3. Проверьте значение «Content-Type», который возвращают страницы Вашего сайта

MySitemapGenerator производит поиск URL только на страницах, которые формируют HTML-код, соответственно должны возвращать заголовок «Content-Type» со значением «Text/HTML».

Пример правильного заголовка в ответе, который должна возвращать HTML-страница в кодировке Windows-1251:

Content-Type: text/html; charset=windows-1251

Робот, производящий индексацию мобильных сайтов (сервис Sitemap Mobile), также обеспечивают поддержку WML и cHTML-контента.

Пример правильного заголовка в ответе, который должна возвращать WML-страница:

Content-Type: text/vnd.wap.wml

В случае, если iMode-страница не формирует WML/XHTML - заголовок, в коде должен быть правильно объявлен тип текущего документа. Пример:

<!DOCTYPE html PUBLIC "-//WAPFORUM//DTD XHTML Mobile 1.0//EN" "http://www.wapforum.org/DTD/xhtml-mobile10.dtd">

4. Размер и время загрузки страницы

Сканер не ограничивает допустимые размеры сканируемых страниц, но любая страница Вашего сайта обязана быть сформирована в пределах 30 секунд. Иначе статус URL приравнивается к "недоступен".

5. Важно, чтобы Вы понимали: сканер учитывает только локальные ссылки в зоне указанного домена

При этом домен с www и без считаются зеркалом. Любые другие сабдомены или URL вне зоны домена не учитываются.

Например, если Вы задали для индексации http://site.ru, то в случае обнаружения ссылок с абсолютным URL вида http://www.site.ru/page, они так же будут учтены. Соответственно, если Вы задаете сканеру URL сайта как http://www.site.ru, то будут учитываться ссылки вида http://site.ru/page. Но ссылки вида http://sub.site.ru учитываться как локальные не будут.

6. Для веб-сайтов, работающих на CMS со встроенными системами ограничения доступа

Обратите внимание на то, что в процессе индексации, сканер отправляет большое количество запросов на Ваш веб-сайт. Некоторые CMS при соответствующих настройках, могут блокировать запросы нашего сканера из соображений безопасности либо распределения нагрузки на веб-сервер. Рекомендуем снимать подобную защиту на время индексации сайта.

7. Не поддерживаемые методы сжатия данных

Робот может не поддерживать метод сжатия данных, используемый на Вашем сайте. В этом случае, робот отправляет HTTP-запрос с явным указанием необходимости ответа в несжатом виде (Content-Encoding: identity). Ваш сервер должен правильно обрабатывать такие запросы согласно RFC и возвращать данные без сжатия. Хотя на уровне веб-сервера такие ошибки маловероятны, встречаются случаи, когда сжатие данных происходит принудительно на уровне ПО, которое непосредственно формирует HTML-код (CMS, скрипты, аддоны). В этом случае проверьте, чтобы Ваш алгоритм обработки HTTP-запросов учитывал спецификации протокола.

Отзывы пользователей генератора SitemapОтзывы все отзывы →
добавить +
Назад
  • Валентин, quira.ru

    Отличный ресурс делать карты для сайтов. Пользуюсь давно и регулярно.

  • Александр, pochinim.by

    Спасибо за ваш замечательный сервис.

Вперед

Подпишитесь на нашу страницу в Facebook, чтобы быть в курсе всех новостей!

Москва: +7 (499) 403-36-10     Киев: +38 (044) 362-20-12 Поделиться сервисом!
©Sitemap Generator - онлайн генератор
VisaMasterCard Secure