Обработка содержимого, динамически формируемого с помощью JavaScript

Если ваш веб-сайт использует JavaScript для генерации основной части контента (это также называется отрисовкой на стороне клиента), наш краулер будет пытаться обработать динамическое содержание веб-страницы (если такая необходимость будет определена автоматически или опция обработки Javascript будет включена в настройках), однако многие алгоритмы JavaScript могут не быть обработаны.
Ограничения обработки Javascript:

• Обратите внимание, что наш краулер не загружает и не обрабатывает JavaScript-код из внешних источников, имя хоста (домен) которых отличается от домена веб-сайта, например скрипты, загружаемые из CDN или API-серверов.
• Наш краулер не обрабатывает содержимое, которое динамически формируется при определенных действиях пользователя, например при скроллинге страницы или при клике на элементе.
• Учитывайте, что краулер MySitemapGenerator сканирует только ссылки, которые представляют собой HTML-тег <a> с атрибутом "href", это также применимо и к содержимому, которое динамически формируется с помощью JavaScript. Наши алгоритмы не распознают и не обрабатывают любые другие элементы или события, которые функционируют как ссылки, но не являются соответствующим HTML-тегом <a>. Это означает, что любые другие форматы навигации не будут обработаны, а значит и контент, на который они ведут.