Чет только наткнулся...
Чет только наткнулся:
https://webmasters.googleblog.com/2017/01/what-crawl-budget-means-for-googlebot.html
Гугл пугает, что будет занижать краулинговый бюджет (лимиты на индексацию/переиндексацию страниц) в случае если вы:
- используете и не запрещаете для индексирования так называемую faceted navigation (это когда вы загоняете в индекс листинги с примененными к ним фильтрами по цене, например).
- храните на сайте и позволяете индексировать страницы без контента, страницы с очень похожим контентом и вообще, страницы с низкокачественным контентом. Это то, что Яндекс с недавних пор в панели вебмастера называет "недостаточно качественными" страницами.
- наличие страниц, которые отдают код 200ОК, тогда как на самом деле должны отдавать 404, или 500-ю ошибку
- наличие взломаных страниц (edu сайты насторожились -) )
- бесконечные редиректы, множество ссылок на одинаковые по контенту страницы, итп
Вывод - если хотите чтоб Гугл быстро-быстро переиндексировал ваш сайт (с первичным индексированием он и так неплохо справляется), избавляйтесь от этих ошибок и живите счастливо -)
Всем peace!
Источник новости https://t.me/stavsky/8...