Параметри обробки: за замовчуванням використовуються загальні параметри. Натисніть, щоб переглянути або змінити налаштування.

Кастомне джерело даних

Наш робот готовий просканувати ваш сайт та зібрати необхідні дані автоматично. Але ви також можете імпортувати дані безпосередньо з CSV-файлу. Імпорт даних із файлу CSV

Параметри сканування

Турбо-режим через проксі-сервери Інтенсивність сканування: Режим та ідентифікація робота: Мова браузера: Вміст сайту, який скануватиметься: Обмежити час сканування: Обмежити кількість URL: Обмежити глибину структури URL:

Параметри опрацювання посилань та веб-сторінок

Дотримуватися правил, зазначених у файлі robots.txt Не сканувати вміст, позначений як noindex Не сканувати посилання, позначені як nofollow Обробляти теги канонізації та виключати неканонічні сторінки Сканувати HTML-форми Сканувати вміст фреймів Відхиляти URL-адреси, які не відповідають стандарту RFC 1738 Відхиляти URL-адреси з ненормальною структурою та потенційними проблемами завантаження Опрацьовувати AJAX-взаємодії для URL-адрес з хеш-бенгом Опрацювання javascript:

Параметри генерації

Додати теги пріоритету на основі структури сайту Додати теги lastmod на основі Додайте теги changefreq на основі HTTP-заголовків Expires і Cache-Control

Додаткові файли

Створити файл robots.txt Експортувати список URL-адрес у файл CSV

Фільтрація або налаштування сторінок

У шаблоні відповідності можна використовувати будь-який текст і символ підстановки *, що означає будь-яку послідовність символів. Наприклад: *.jpg or /uploads

Free XML Sitemap

Generate Free Sitemap Online