​​😱 Как загнать в индекс 1.000.000 страниц — вопрос от читателя

​​😱 Как загнать в индекс 1.000.000 страниц — вопрос от читателя.

❓Вопрос: Привет, Серега! Буду благодарен, если подскажешь, как сделать правильно. Создаем проект под рунет. Навскидку будет больше миллиона страниц.

Контент — уникализированные данные из открытых источников, уник дизайн, движок собственной разработки. Сама изначально база не индексируется, но сайты, которые брали данные с базы есть в индексе. Наш сайт будет не копией, но какие-то пересечения будут.

Как сделать так, чтобы Яндекс и Google максимально быстро и полно проиндексировали сайт, чтобы их не 🤮 от такого количества страниц? Стоит ли все скопом выкладывать или лучше постепенно?

❗️Ответ: Сразу, естественно, не стоит выкладывать все страницы. Лучше растянуть удовольствие на несколько месяцев. Например, начать с 1000 страниц и каждый день увеличивать количество выкладываемых страниц на 100-300 шт (сегодня 1000, завтра 1300, послезавтра 1500 и так далее).

Сейчас поисковики такие объемы не будут индексировать с радостью. Им необходимо будет помочь:

1️⃣ Если будут дубли страниц, то будут проблемы. О дублях необходимо позаботиться, во-первых, заранее (до публикации страниц), во-вторых, мониторить проиндексированные документы в первые несколько недель и оперативно закрывать от индекса мусор (лучше в X-Robots-Tag, чтобы поисковый робот не загружал страницу).

2️⃣ Sitemap. В идеале держать там только непроиндексированные страницы. Проверять на проиндексированность и удалять те, что в индексе.

3️⃣ На главной и хабовых страницах (например, категории) можно разместить рандомный вывод страниц (при перезагрузке список страниц меняется). Опять же, в идеале выводить только непроиндексированные документы.

4️⃣ Внутренняя перелинковка. Избегать больших сквозных блоков ссылок, чтобы вес равномерно растекался по сайту. Ссылаться не "все страницы на все страницы", а придерживаться внутрихабовых ссылок (внутри подкатегории, категории, раздела). Здесь же важность структуры сайта в целом.

5️⃣ Корректно отдавать HTTP-заголовки Last-Modified и If-Modified-Since.

6️⃣ Ссылки на главную и хабовые страницы с жирных главных и хабовых страниц других сайтов.

7️⃣ Трафик. По большей части не важно какой трафик, главное чтобы живой: копеечный контекстный, тизерный, с социальных сетей и т.п. В идеале на непроиндексированные страницы, но подойдет и на хабовые в силу того, что автоматизировать это будет сложно. Большие братья берут информацию из браузеров, систем аналитики. То, что сайт посещают — дополнительный положительный сигнал.

8️⃣ В SEO все средства хороши 😀 https://yandex.ru/support/metrica/general/link-webmaster.html

9️⃣ Ваш сервер должен быть готов к высокой нагрузке. Если будет подвисать, отдавать ошибки 5ХХ, то это создаст дополнительные проблемы.

🔟 Легкий шаблон без тяжелых скриптов, рекламы. Хотя бы на первое время. После индексации можно уже "добавлять красоту" 👨‍🎨.

Что-то по отдельности вряд ли даст хороший толчок, но комплекс мероприятий обязательно поможет. Задача нетривиальная и к ее решению необходимо также подходить нестандартно 😊.

Сосновский Сергей @sosnovskij

Источник новости https://t.me/sosnovskij/45...