Страницы, заблокированные через robots.txt, могут появляться в...

Страницы, заблокированные через robots.txt, могут появляться в AI Overviews (AIO).

Со сниппетом.

Обычно, когда Гугл показывает заблокированные страницы в поисковой выдаче, в описании отображается "Нет информации для этой страницы".

Но в случае с AIO, Гугл показывает описание.

Более того - на этом сайте есть 19 страниц, заблокированных через robots.txt, которые цитируются в AIO.

Возможно, AIO прокраулил страницу до того, как была добавлена директива в robots.txt?

Дальнейшее расследование показало, что эта директива в robots.txt была добавлена еще в мае.

Если вы блокируете контент от краулинга через robots.txt (до того, как Гугл зарегистрирует noindex на странице), страница потенциально может появляться в AIO - со сниппетом - как минимум 7 месяцев.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/4301...