Реальность такова, что если 60% или более страниц каждого сайта...

188

Реальность такова, что если 60% или более страниц каждого сайта "обнаружено - не проиндексировано" и "прокраулено - не проиндексировано", Google не будет краулить/индексировать некоторые действительно важные страницы, которые, по вашему мнению, должны быть проиндексированы.

Зато он с удовольствием проиндексирует 1673-ю страницу пагинации вашей категории или фасет из 20 параметров...

Мы заметили всплески индексации фасетных URL на двух (несвязанных) сайтах недавно, пишет Крис Левер.

На обоих сайтах в Robots.txt есть директивы disallow для фасетных URL.

Оба сайта имеют мета-теги noindex/nofollow для фасетных URL.

Да, я знаю, что Googlebot не увидит мета-теги noindex/nofollow, если установлены директивы disallow.

Они там как дополнительная мера предосторожности.

Google выбрал индексацию сотен фасетных URL, даже не оценивая сигналы качества страницы.

Мы решили убрать директивы disallow из robots.txt.

Это вызвало значительное увеличение количества обнаруженных URL, но Googlebot уважал мета-теги noindex/nofollow, и мы увидели уменьшение количества индексируемых фасетных URL.

С одной стороны, у вас есть директивы disallow в robots.txt.

Которые не гарантируют, что URL не будут индексироваться.

Мне кажется очень странным, что Google индексирует глубокие фасеты (некоторые из которых содержат 3-4 параметра).

С другой стороны, у вас есть директива noindex.

Googlebot тратит свое время на краулинг тысяч (иногда миллионов) фасетных URL, вызывая раздувание краулинга и создавая очень некрасивые графики в Search Console.

Или вы можете комбинировать оба метода, как это делаю я, думая: "Уж этого точно должно хватить, чтобы нежелательные URL не индексировались."

@MikeBlazerX