Описание частых проблем и ошибок в процессе создания Sitemap

Узнайте, почему Ваш сайт не индексируется сканером MySitemapGenerator

В случае, если проиндексировать Ваш сайт не удалось, робот попытается выдать сообщение с описанием вероятной причины. Тем не менее, генератору не всегда удается достоверно определить проблему. Чтобы у нашего робота не возникло проблем с индексацией Вашего сайта, пожалуйста, ознакомьтесь с приведенным ниже списком основных ошибок, которые могут помешать индексации.

1. Проверьте Ваш файл robots.txt

Не правильно составленный файл robots.txt может закрыть Ваш сайт от всех поисковых роботов, в том числе и от нашего сканера.

Возможная ошибка – наличие такой инструкции в файле robots.txt:

Если Вы намерено закрываете сайт от индексации поисковыми системами, но хотите чтобы робот MySitemapGenerator проиндексировал Ваш сайт – снимите отметку «Учитывать инструкции robots.txt».

2. Убедитесь, что страницы домена возвращает статус «HTTP 200 Ok»

«HTTP 200 Ok» означает успешный запрос ресурса. Любой другой ответ Вашего сервера будет проигнорирован сканером.

Так же сканер поддерживает обработку серверных редиректов 301, 302, 303 и 307.

3. Проверьте значение «Content-Type», который возвращают страницы Вашего сайта

MySitemapGenerator производит поиск URL только на страницах, которые формируют HTML-код, соответственно должны возвращать заголовок «Content-Type» со значением «Text/HTML».

Пример правильного заголовка в ответе, который должна возвращать HTML-страница в кодировке Windows -1251:

4. Размер и время загрузки страницы

Сканер не ограничивает допустимые размеры сканируемых страниц, но любая страница Вашего сайта обязана быть сформирована в пределах 30 секунд. Иначе статус URL приравнивается к "недоступен".

5. Важно, чтобы Вы понимали: сканер учитывает только локальные ссылки в зоне указанного домена

При этом домен с www и без считаются зеркалом. Любые другие сабдомены или URL вне зоны домена не учитываются.

Например, если Вы задали для индексации http://site.ru, то в случае обнаружения ссылок с абсолютным URL вида http://www.site.ru/page, они так же будут учтены. Соответственно, если Вы задаете сканеру URL сайта как http://www.site.ru, то будут учитываться ссылки вида http://site.ru/page. Но ссылки вида http://sub.site.ru учитываться как локальные не будут.

6. Для веб-сайтов, работающих на CMS со встроенными системами ограничения доступа

Обратите внимание на то, что в процессе индексации, сканер отправляет большое количество запросов на Ваш веб-сайт. Некоторые CMS, в частности популярный продукт 1С-Битрикс, при соответствующих настройках, могут блокировать запросы нашего сканера из соображений безопасности либо распределения нагрузки на веб-сервер. Рекомендуем снимать подобную защиту на время индексации сайта.