"Периодически страницы сайта выдают 403 код статуса, я вижу...

"Периодически страницы сайта выдают 403 код статуса, я вижу это через Ahrefs, и иногда через Screaming Frog. Насколько это может мешать? Какой специалист должен заниматься этим вопросом?"

/ Татьяна /

403 код статуса в HTTP-заголовках страницы обозначает запрет доступа. Конечно же, в таком случае Google не сможет получить доступ к контенту страницы и, соответственно, проиндексировать или переиндексировать ее, а существующие страницы будут постепенно выпадать из индекса.

Однако, тут надо разобраться! Видит ли Google эти 403 статусы, или только вы? Это очень важно понять перед принятием дальнейшего решения. Ну и, конечно же, нужно разобраться, кто вообще управляет кодом статуса и может запрещать доступ.

Как узнать, какой код статуса отдается гуглу при сканировании им страниц? Для этого необходимо проанализировать серверные логи сайта. Если есть такой опыт, то можно делать это самостоятельно, в противном случае попросить сисадмина.

1. Качаем access_log сайта.

Это название текстового файла специального формата, где веб-сервер хранит всю информация по запросам к сайту. Иногда не хранит, это зависит от настроек веб-сервера. А доступ к файлу будет зависеть от используемого хостинга. Проще всего попросить у хостера предоставить серверные логи или указать, где их можно скачать (многие хостеры позволяют это сделать в панели управления). Либо попросить у сисадмина, если у него есть рутовый доступ к серверу.

2. Находим в файле строки, где к серверу обращался Google.

Тут надо изучить формат файла, чтобы понять, где там что. Анализировать логи можно через любой текстовый редактор (если файл небольшой), либо через сторонний сервис (лог анализаторы), но самый простой вариант — анализировать файл через консоль.

cat access_log | grep Googlebot | tail -n 100

Команда выведет 100 последних строк, где встречается "Googlebot"

3. Анализируем коды статусов

Теперь ищем 403 коды, как часто они встречаются по сравнению с 200.

4. Тут уже будет понятно, что к чему

Если в логах гуглу отдаются только 200 коды статусов, то 403 видите только вы и, возможно, некоторые программы-анализаторы. Можно в логах сразу искать строки 403, отданные гуглу:

cat access_log | grep Googlebot | grep 403

Если в логах есть 403 ошибки для гугла, нужно узнать, как часто они отдаются. Отдаются всегда - это самый простой вариант. Отдаются периодически - тут все сложно, и нужен глубокий анализ проблемы.

И вот теперь нужно разобраться, откуда эти 403 возникают.

— Доступ к сайту может блокировать CMS. Тут надо покопаться в CMS и плагинах, чтобы это понять и найти. Достаточно сложная задача.

— Доступ к сайту может блокировать хостер при высоких нагрузках. Тут надо проанализировать нагрузку на сервер, в том числе когда вы сайт парсите фрогом. Возможно, просто слабый сервер и нужно выбрать что-то помощнее.

— Доступ к сайту может блокировать файерволл. Например, блокируются запросы из определенных стран, или приходящих с определенной частотой. Чаще это файерволл хостера/CDN, используется для блокировки подозрительного трафика. Нужно разобраться, где он настраивается, и настраивается ли вообще.

— Доступ к сайту может блокировать провайдер. Например, по запросу руководства страны. Проверить это несложно, прочекав сайт из разных локаций/стран.

Как видите, задача непростая, если раньше не сталкивались с логами и консолью, но вполне решаемая техническими специалистами.

Успехов с поиском проблемы!

Источник новости https://t.me/devakatalk/3530...