Другой способ деиндексации URL-адресов Я проверил формулировку...

120

Другой способ деиндексации URL-адресов

Я проверил формулировку значения meta robots="none", которое представляет собой другой способ написания "noindex, nofollow" (но для меня звучит как "без ограничений"), пишет Оливер Мейсон, и заметил следующее:

unavailable_after: [date/time]

Это правило запрещает показывать страницу в результатах поиска после даты и времени, указанных в одном из основных форматов, таких как RFC 822, RFC 850, ISO 8601 и др.

Это правило игнорируется, если не указано допустимое значение даты и времени. По умолчанию у контента нет срока действия.

Если не добавить это правило, страница может показываться в результатах поиска неограниченное время.

После указанной даты и времени частота сканирования URL роботом Googlebot значительно уменьшится.

Пример:

Хотя я уже видел это в документации, я никогда не видел его в действии. Поэтому я установил этот HTTP-заголовок для всего сайта на 1 января 1970 года.

Как только страница была просканирована, она перестала отображаться в Google Search Console как проиндексированная.

Проблема не в том, что я начал деиндексировать свой сайт, а в том, что GSC, вероятно, не должен писать "Indexing Allowed: Yes" после того, как Гугл обработал эту страницу.

Но что интересно, unavailable_after: [дата/время] не является опцией, которая появляется на странице явного запрета индексирования (блокирования индексирования).

Функционально это кажется больше директивой, чем подсказкой, поскольку первое органическое сканирование, по-видимому, приведет к тому, что страница будет исключена из индекса.

Пока это не будет учтено в GSC, мы должны помнить, что это потенциальный способ для клиентов случайно удалить свои сайты из поиска.

Так что теперь, когда страницы выпадают из индекса с агрессивной скоростью, я удалю эту директиву.

https://ohgm.co.uk/another-way-to-deindex-urls/

@MikeBlazerX