И снова здравствуйте, забыл рассказать про микроапдейт...

И снова здравствуйте,

забыл рассказать про микроапдейт, выложенный на прошлой неделе, было несколько обращений в саппорт по этому поводу. В Advanced settings в группе Cookies появилась опция "Save cookies from server".

Как мы знаем, что Googlebot не сохраняет куки когда ходит по сайту. Т.е. каждый новый визит как каждый новый пользователь. Исторически сложилось, что у нас были сайты которые просто ложились если их полностью краулить без сохранения кук. Поэтому мы вывели эту опцию в паблик.

Тут у вас возникет резонный вопрос - а почему гуглбот нормально по сайту ходит. Главная особенность гуглбота - это эвристика, т.е. не бездумно заложенный алгоритм (краулим со скоростью 5 урлов в секунду), а гибкость - если бот видит, что на сайте летят 500-е ошибки, он замедляет сканирование и таким образом может хоть как то ходить по сайту.

У краулера такой задачи нет - как вы ему сказали, так и он и краулит.

Резюмируя: для 99% сайтов настройки по умолчанию подходят и не надо их менять.

Если же ваши технари говорят, что нужны куки - включайте эту опцию.

Также если вы хотите например покраулить сайт как залогиненный пользователь, то можно воспользоваться полем "List of cookies for every request".

Источник новости https://t.me/jetoctopus/84...