​Рик: GSC показывает мне кучу неканонических URL с добавленными...

​Рик:

GSC показывает мне кучу неканонических URL с добавленными хэшбэнгами.

Я передал это инженерам, и они сказали, что нашли и исправили проблему.

Это было 2-3 недели назад, а неканонические URL с хэшбэнгами до сих пор появляются в GSC.

Я пытался провести валидацию фикса дважды за прошедшие 3 недели, но фикс не валидируется.

Инспектор URL не показывает реферер.

Если запретить Google краулить URL с хэшбэнгами, это уменьшит количество краулящихся URL примерно на 33%.

Поскольку инженеры не могут найти никаких рефереров на эти страницы, я рассматриваю два сценария:

1. Данные в GSC устарели, и эти URL будут отображаться еще какое-то время

2. Эти URL где-то есть на сайте, и мы можем решить проблему с помощью постоянного редиректа, пока инженеры не найдут баг.

-

Дэйв Смарт:

#! — это неудобная штука, пережиток старых дней краулинга JavaScript,

robots.txt не может их заблокировать,

Disallow: /*#!

фактически то же самое, что и

Disallow: /

Это первый раз, когда я заметил, что там написано, что индексация разрешена, хотя страница неканоническая.

Это вполне стандартно, любая страница "не индексируется: альтернативная страница с правильным каноникал-тегом" будет отображаться таким образом, так это выглядит в GSC.

Учитывая, что каноникалы, похоже, уважаются, я бы особо не беспокоился об этом, учитывая отсутствие реального контроля, и то, что каноникалы, похоже, делают свою работу.

Я бы предположил, как и ты, что это что-то историческое, всплывшее для проверки того, что происходит в наши дни с этими URL, или, возможно, с внешних сайтов, но отсутствие рефереров на любом из них указывает на первую версию.

-

Рик:

Вот что я пытаюсь решить.

Эти URL с хэшбэнгами составляют около 1/3 неиндексируемых страниц, которые краулятся.

Я хочу сократить порог от серого до зеленого.

Кроме того, общее количество запросов краулинга падает с такой же скоростью.

-

Дэйв Смарт:

Я тебя понимаю, но здесь мало что можно сделать, ИМХО.

Ты не можешь заблокировать или средиректить эти URL на стороне сервера, так как # и !

не передаются как часть сетевого запроса

Ты не можешь использовать robots.txt, во-первых, из-за того, как он парсится, но опять же, запрос будет на URL без #!

Так что есть две реалистичные опции:

1. Полагаться на каноникалы, как ты сейчас делаешь, и жить с тем, что показывает отчет

2. В крайнем случае, ты мог бы использовать клиентские JavaScript-редиректы, но я думаю, что будет хуже с точки зрения расхода краулингового бюджета (ему придется краулить это, рендерить И ЗАТЕМ редиректить), и всё это для того, чтобы в конечном итоге просто переместить их из одной причины, по которой они не индексируются, в другую причину в отчете.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/4891...