🤖 Вопрос: какую ошибку на сайтах в техническом плане вы часто...

128

🤖 Вопрос: какую ошибку на сайтах в техническом плане вы часто встречаете?

Одна из самых частых ошибок, которые встречаю постоянно, это задержка для поисковых роботов в файле robots.txt:

User-agent: *

Crawl-delay: 7

На обход каждого сайта у роботов Яндекса и Google есть определенное время. Есть понятие краулингового бюджета, то есть количества страниц, которые может проиндексировать робот.

Образно говоря, возьмем сайт с 1000 страниц. Роботы должны обойти все страницы, скажем, за 2 минуты.

Если же в файле robots.txt выставлена задержка в 7 секунд, как в примере выше, то роботы успеют проиндексировать лишь часть страниц сайта. До многих они могут вообще не добраться.

А если роботы постоянно не могут проиндексировать часть страниц сайта, то их позиции и посещаемость могут понизиться.

Для того, чтобы полнота индексации страниц вашего сайта была максимальной, рекомендую вообще убрать задержку. Для этого нужно удалить строку "Crawl-delay:...".

Задержка нужна была лет 5-10 назад, когда поисковые роботы создавали нагрузку на хостинг при посещении сайта.

Каждый год мне пишут читатели блога с вопросом о том, что посещаемость на их сайте падает. Я первым делом всегда смотрю на то, есть ли задержка для роботов. Во многих случаях удаление задержки приводит к тому, что посещаемость на сайте восстанавливается.

Это не панацея, есть много других причин, из-за которых посещаемость может снизиться, но я сторонник того, чтобы задержку вообще не использовать.

Михаил Шакин, @shakinru