Настройка генератора Sitemap

Мы постарались сделать интерфейсы запуска сервисов максимально простыми и понятными. Наверняка, у Вас не возникнет трудностей в процессе работы. Поэтому предлагаем описание настройки Генератора только по наиболее интересным параметрам. Более подробное описание работы всех опций доступно на странице Частых вопросов

Важно! Для веб-сайтов, работающих на CMS со встроенными системами ограничения доступа
Обратите внимание на то, что в процессе индексации, сканер отправляет большое количество запросов на Ваш веб-сайт. Некоторые CMS при соответствующих настройках, могут блокировать запросы нашего сканера из соображений безопасности либо распределения нагрузки на веб-сервер. Рекомендуем снимать подобную защиту на время индексации сайта. Если же такой возможности у Вас нет - используйте минимальный уровень скорости индексации, который позволит минимизировать нагрузку на Ваш сервер.

Выбор оптимальной скорости индексации и уровня нагрузки на Ваш веб-сервер
В опциях сканера доступны три уровня скорости индексации, создающие соответствующие уровни нагрузки на индексируемый сервер:

Индексация скрытых страниц (Deep Web)
Deep Web («невидимая паутина» - рус.) – веб-страницы, неиндексируемые поисковыми системами по причине отсутствия на них гиперссылок с доступных страниц. Например – это страницы, генерируемые через интерфейсы HTML-форм или содержимое фреймов.

Если Вы хотите обнаружить и включить такие страницы в Sitemap, отметьте нужные опции:

Разбитие Sitemap на файлы
В соответствии с требованиями протокола XML Sitemaps – один файл Sitemap должен содержать не более 50 000 URL, а физический размер файла должен быть не более 10 Мб.

Однако, в связи с тем, что размер файла напрямую зависит от объема вносимой информации (длина URL ссылок, дополнительные данные об изображениях), физический размер файла может превысить 10 Мб, не смотря на то, что количество URL не будет превышать допустимые 50 000. Рекомендуем учитывать это и использовать меньшее значение разбития Sitemap на части в случае, когда Вы создаете файл с добавлением информации об изображениях или на Вашем сайте используются длинные URL-адреса.

Также Вы можете выбрать то количество URL для одного файла, которое будет Вам удобно.