Ошибка 403: что это и как можно исправить

Ошибка HTTP-протокола «403 Forbidden» означает, что доступ к Вашему веб-сайту запрещен.

Если данная ошибка возникает при запуске индексации, то наиболее вероятная причина ее возникновения – блокировка запросов системой защиты Вашего сайта или веб-сервера.

Некоторые веб-серверы или CMS, при соответствующих настройках, могут блокировать запросы нашего робота из соображений безопасности либо распределения нагрузки на веб-сервер. Рекомендуем снимать подобную защиту на время индексации сайта. Так же Вы можете открыть доступ нашему роботу, используя идентификацию по определенному значению User-Agent (см. Способы идентификации нашего робота).

Если ошибка возникает в процессе индексации сайта и у Вас нет возможности изменить существующие ограничения доступа к веб-сайту, рекомендуем выбрать наиболее оптимальный уровень скорости/нагрузки индексации.

Принцип работы защитных модулей: при превышении определенного числа запросов с одного IP-адреса, HTTP-клиент временно блокируется, получая в ответ на запросы ошибку 403 Forbidden.

Как проверить ограничения

Nginx. При использовании HTTP-сервера Nginx, проверьте настройки модуля ngx_http_limit_req_module (документация), в котором содержаться директивы вводящие ограничения на количество запросов и/или открытых соединений в единицу времени.

Пример конфигурации:

limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
limit_req zone=one burst=10;

Apache. Для HTTP-сервера Apache проверьте настройки модуля mod_evasive (документация).

Пример конфигурации:

DOSHashTableSize 3097
DOSPageCount 2
DOSSiteCount 50
DOSPageInterval 1
DOSSiteInterval 1
DOSBlockingPeriod 90
DOSLogDir /var/log/mod_evasive
DOSWhitelist 127.0.0.1

Реже, данная ошибка так же может возникать по причине неправильно установленных прав доступа к запрашиваемому файлу или папке, в которой он находится. Для того чтобы проверить это – попробуйте открыть файл по прямой URL-ссылке, используя браузер. Если страница не будет загружена – измените права доступа (CHMOD) к файлу и/или его родительской директории. Правильные значения прав доступа Вы можете уточнить у системного администратора Вашего веб-сервера. Сочетания, верные для большинства веб-серверов: 755 – для директорий, 644 – для файлов.