Самое большое количество страниц, которое я проиндексировал на...

Mike Blazer

121

Самое большое количество страниц, которое я проиндексировал на одном сайте:

45,034,907 - пишет Иэн Наттолл

"Но Йен, индексация этого сайта упала до 1,34 млн страниц", - слышу я ваш вопрос.

Да, большинство людей никогда не столкнутся с подобными проблемами индексации, но я ожидаю их в таких масштабах.

Это не значит, что сайт умирает, это далеко не так (см. скриншот).

Этот сайт работает лучше, чем когда-либо:

На этом уровне каннибализация ключевых слов встречается гораздо чаще, и, чтобы защитить ресурсы, Google может деиндексировать ваши страницы, если они ранжируются по очень похожим ключевым словам.

Единственное реальное "исправление" этой ситуации - убедиться, что вы знаете, какие страницы являются наиболее важными, и сосредоточиться на том, чтобы эти страницы были проиндексированы (и поддерживались).

Для этого:

— Консолидируйте каннибализирующие страницы

— Удалите страницы 404 или 410

— Исправьте soft-404

— Блокируйте краулинг неважных разделов сайта.

И наконец - не создавайте сайты с 3+ миллиардами левых страниц!

P.S. второе место занял сайт с очень приличным количеством страниц - 3,060,009!

Grind Stone:

Глубина сканирования сайта (краулинга) в конечном итоге определяется ссылочным весом.

Google не будет постоянно расходовать бюджет на сканирование большого сайта с небольшим количеством входящих ссылок.

Загнать сайт в индекс?

Конечно.

Удерживать его там?

Это уже совсем другая игра.

Готов поспорить, что креативное серое SEO и тактика программатик сайтов + индексации Иэна будут прекрасным сочетанием.

Каков ваш PageRank на 45 миллионах страниц?

В конце концов, что-то должно присутствовать, чтобы бот Google возвращался.

Либо несколько мощных авторитетных ссылок, либо другой механизм, который я не буду описывать, потому что он нарушает мой пункт "не делиться тем, чем со мной поделились".

Вы можете ограничить требования к глубине сканирования с помощью структуры сайта, но горизонтальное сканирование тоже будет иметь ограничения.

В конечном итоге, чтобы оставаться в индексе, должна быть какая-то другая метрика ценности, чтобы боты приходили к вам.

@MikeBlazerX