Ошибка 406: что это и как можно исправить
Ошибка HTTP-протокола «406 Not Acceptable» означает, что формат или кодировка страницы не поддерживаются роботом.
Если данная ошибка возникает при запуске индексации, то наиболее вероятная причина ее возникновения – главная страница Вашего сайта возвращает не поддерживаемый роботом тип контента.
Робот может не поддерживать метод сжатия данных, используемый на Вашем сайте. В этом случае, робот отправляет HTTP-запрос с явным указанием необходимости ответа в несжатом виде (Content-Encoding: identity). Ваш сервер должен правильно обрабатывать такие запросы согласно RFC и возвращать данные без сжатия.
Проверьте так же – возможно, настройки Вашего веб-сервера или программное обеспечение сайта, не правильно генерируют заголовоки Content-Type или Content-Encoding.
MySitemapGenerator производит поиск URL только на страницах, которые формируют HTML-код, соответственно должны возвращать заголовок «Content-Type» со значением «text/html».
Робот, производящий индексацию мобильных сайтов (сервис Sitemap Mobile), также обеспечивают поддержку WML и cHTML-контента. Страницы для мобильных устройств должны возвращать заголовок «Content-Type» с правильным указанием значения WAP- или cHTML-данных (например: text/vnd.wap.wml, application/vnd.wap.xhtml+xml и т.д.). В случае, если iMode-страница не формирует WML/XHTML - заголовок, в HTML-коде должен быть правильно объявлен тип (DOCTYPE) текущего документа.
Вы можете использовать инструмент просмотра HTTP заголовков для проверки типа содержимого страниц сайта.