Кейс: потеря краулингового бюджета по невнимательности

Кейс: потеря краулингового бюджета по невнимательности

#кейс_из_жизни #robots_txt @productseo

Решил этот кейс выделить в отдельный пост, поскольку встречаю слишком часто и уже даже не могу посчитать сколько было потрачено ресурсов поисковых роботов.

SEO’шники почему-то забывают правило, что Disallow:/url - это запрет на сканирование по началу URL. Если переписать в виде regex, то выйдет:

Disallow:^/url*$, где ^ - начало строки (после domain .com).

Если у вас, например, несколько языковых версий и нужно закрыть function.php, то нужно писать или Disallow:/*function.php (или аналогичный вариант, который зависит от того как этот файл используется) или же Disallow:/uk/function.php, Disallow:/en/function.php и так далее.

Аналогично и с get параметрами, которые могут быть в списке. Вы пишите Disallow:?sort=, но не закрываете url вида /url?size=12&sort=desc, который можно закрыть, например, через Disallow:*?*sort= . Почему со знаком вопроса? Что бы не закрыть случайно ЧПУ URL. Если уверены в себе, то можно и Disallow:*sort=

После Disallow: URL НАЧИНАЕТСЯ с данной маски, а не СОДЕРЖИТ, а потому не забываем о звездочках.

Источник новости https://t.me/productseo/11...