Как сделать анализ индексации информационного сайта на (350к...

❓Вопрос 4127

Как сделать анализ индексации информационного сайта на (350к страниц). Сайт старый, есть статьи от 2010 года, а также страницы с припиской .html. Какой алгоритм проведения анализа должен быть при таком количестве страниц?

❗️Ответ

Единственный способ наиболее достоверно узнать сколько страниц сайта в индексе, это Google Search Console. В панели управления вебмастера Google выбираем вкладку «Индексирование», затем — «Страницы». В этом отчете отображается количество и список проиндексированных страниц. Кроме того, тут же показываются и страницы, которые не в индексе по разным причинам:

🔸 Страницы с 404 или 3** кодом сервера: если страница битая или удалена, то поисковый робот со временем выкинет ее из индекса. Тоже самое касается страниц с переадресаций (301 редирект).

🔸Ошибка сервера (5** код ответа): Если при загрузке страницы возникает ошибка на стороне сервера, то робот просто не сможет просканировать и обработать страницу, так как она не загружается.

🔸Страницы заблокированы от индексации в Robots.txt или noindex.

🔸 Малоценные страницы: сюда относятся смысловые и технические дубли, страницы с get-параметрами, страницы с каноникалом.

🔸 Страницы-сироты: если на страницу не ведут внутренние ссылки и она не добавлена в сайтмап, то бот ее не сможет найти и добавить.

Так как ваш сайт достаточно большой, выгрузить весь список страниц не в индексе с Консоли не получится.

💡 Для этого рекомендуем воспользоваться вспомогательными средствами:

✅ Проверить индексацию с помощью программ. Такие сервисы, как Screaming Frog Seo или Xenu Links Sleuth автоматически сканируют сайт и показывают страницы, которые не попали в индекс по тем или иным причинам. Чтобы не выгружать весь сайт сразу (что может занять несколько дней), можно разбить сканирование на несколько частей: сначала статьи 2010 года, потом страницы с припиской .html и т.д..

✅ Специальные онлайн сервисы. Существует большое количество бесплатных онлайн-сервисов для контроля индексации сайта. Кроме того, можно проверить индексацию через Ahrefs и Serpstat.

‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях!

🚨 via @siteclinic_doctor 🚨

Источник новости https://t.me/siteclinic_doctor...