Настройка генератора Sitemap
Мы постарались сделать интерфейсы запуска сервисов максимально простыми и понятными. Наверняка, у Вас не возникнет трудностей в процессе работы. Поэтому предлагаем описание настройки Генератора только по наиболее интересным параметрам. Более подробное описание работы всех опций доступно на странице Частых вопросов
Важно! Для веб-сайтов, работающих на CMS со встроенными системами ограничения доступа
Обратите внимание на то, что в процессе индексации, сканер отправляет большое количество запросов на Ваш веб-сайт. Некоторые CMS при соответствующих настройках, могут блокировать запросы нашего сканера из соображений безопасности либо распределения нагрузки на веб-сервер. Рекомендуем снимать подобную защиту на время индексации сайта.
Если же такой возможности у Вас нет - используйте минимальный уровень скорости индексации, который позволит минимизировать нагрузку на Ваш сервер.
Выбор оптимальной скорости индексации и уровня нагрузки на Ваш веб-сервер
В опциях сканера доступны три уровня скорости индексации, создающие соответствующие уровни нагрузки на индексируемый сервер:
- Максимум - данный уровень нагрузки используется сканером по умолчанию. Если у Вас качественный платный хостинг, скорее всего, Вам незачем беспокоится о создаваемой нагрузке в процессе индексации Вашего сайта. Рекомендуем использовать именно это значение нагрузки, которое позволяет сканеру проиндексировать Ваш сайт на максимальной скорости.
Средняя – выберите данный уровень нагрузки, если Ваш сервер требует щадящего режима индексации.
Минимум – уровень ограничения нагрузки, который позволяет проиндексировать Ваш сайт, создавая минимальную нагрузку на сервер. Данный уровень нагрузки рекомендуем использовать для индексации сайтов, расположенных на бесплатном хостинге или для сайтов, требующих ограничения потоков входящего трафика.
Однако обратите внимание на то, что данный уровень значительно замедляет процесс индексации Вашего сайта.
Индексация скрытых страниц (Deep Web)
Deep Web («невидимая паутина» - рус.) – веб-страницы, неиндексируемые поисковыми системами по причине отсутствия на них гиперссылок с доступных страниц. Например – это страницы, генерируемые через интерфейсы HTML-форм или содержимое фреймов.
Если Вы хотите обнаружить и включить такие страницы в Sitemap, отметьте нужные опции:
- Индексировать формы - индексирование веб-форм (сабмит происходит без заполнения);
- Индексировать фреймы - содержимое <frameset> и <iframe>;
- Индексировать Javascript - индексация некоторых типов Javascript-ссылок.
Разбитие Sitemap на файлы
В соответствии с требованиями протокола XML Sitemaps – один файл Sitemap должен содержать не более 50 000 URL, а физический размер файла должен быть не более 10 Мб.
Однако, в связи с тем, что размер файла напрямую зависит от объема вносимой информации (длина URL ссылок, дополнительные данные об изображениях), физический размер файла может превысить 10 Мб, не смотря на то, что количество URL не будет превышать допустимые 50 000. Рекомендуем учитывать это и использовать меньшее значение разбития Sitemap на части в случае, когда Вы создаете файл с добавлением информации об изображениях или на Вашем сайте используются длинные URL-адреса.
Также Вы можете выбрать то количество URL для одного файла, которое будет Вам удобно.