Обмеження щодо вмісту, який динамічно формується за допомогою JavaScript


Якщо ваш веб-сайт використовує JavaScript для генерації основної частини вмісту (що також називається візуалізацією на стороні клієнта), наш краулер спробує обробити динамічно-згенерований вміст веб-сторінки (якщо така потреба буде виявлена автоматично або коли у налаштуваннях ввімкнено опцію обробки Javascript), однак багато алгоритмів JavaScript можуть не оброблятися.
Обмеження щодо обробки JavaScript:
  • Зверніть увагу, що наш веб-краулер не завантажує та не обробляє код Javascript із зовнішніх джерел, чиє ім’я хоста (домен) відрізняється від домену веб-сайту, наприклад ресурси, які завантажуються з серверів CDN або API, включно з субдоменами веб-сайту.
  • Наш краулер не обробляє вміст, який динамічно генерується в результаті будь-якої конкретної дії користувача, наприклад при скролінгу сторінки або кліку на елементі.
  • Враховуйте, що краулер MySitemapGenerator сканує лише посилання, які являють собою HTML-тег <a> з атрибутом "href". Це також стосується вмісту, який динамічно формується за допомогою JavaScript. Наші алгоритми не розпізнають і не обробляють будь-які інші елементи чи події, які функціонують як посилання, але не є відповідним HTML-тегом <a>. Це означає, що будь-які інші формати навігації не оброблятимуться, а відповідно й вміст, на який вони вказують.