Корневий URL Код доступу

Не маєте коду доступу?
Придбати код доступу Static Pro зараз

Отримати файл на email:

Processing settings: General settings are used by default. Click to view or change settings.

Кастомне джерело даних

Наш робот готовий просканувати ваш сайт та зібрати необхідні дані автоматично. Але ви також можете імпортувати дані безпосередньо з CSV-файлу. Імпорт даних із файлу CSV

Crawler Settings

Turbo mode through proxy servers Crawling intensity: Crawler mode and identify: Browser language: Limit crawl time: Limit number of URLs: Limit page-level depth:

Параметри опрацювання посилань та веб-сторінок

Дотримуватися правил, зазначених у файлі robots.txt Не сканувати вміст, позначений як noindex Не сканувати посилання, позначені як nofollow Обробляти теги канонізації та виключати неканонічні сторінки Сканувати HTML-форми Сканувати вміст фреймів Відхиляти URL-адреси, які не відповідають стандарту RFC 1738 Відхиляти URL-адреси з ненормальною структурою та потенційними проблемами завантаження Опрацьовувати AJAX-взаємодії для URL-адрес з хеш-бенгом Опрацювання javascript:

Generation Settings

Include Priority, use website structure Include Lastmod Calculate Changefreq from Expires & Cache-Control Headers Create Sitemaps Index File (for several files) Create or renew robots.txt Break Sitemap Into Parts: URL

Фільтрація або налаштування сторінок

У шаблоні відповідності можна використовувати будь-який текст і символ підстановки *, що означає будь-яку послідовність символів. Наприклад: *.jpg or /uploads

Mobile Sitemap

Mobile Sitemaps Generator (WAP and iMode websites)