Пробежался по справке Центра Google поиска - часть 3.2 🖥

Пробежался по справке Центра Google поиска - часть 3.2 🖥

В предыдущих частях я выписал выжимку про URL-адреса и ссылки, а также начал серию постов про сканирование: 1 часть. Продолжаем изучать, как сканирует сайты Google 🖥

1. Если сканирование тратится на бесполезные URL-адреса, у сканеров остается меньше времени на новые, полезные URL-адреса.

2. Помните, что сканирование фасетных URL-адресов, как правило, требует от сайтов больших объемов вычислительных ресурсов из-за огромного количества URL-адресов и операций, необходимых для отображения этих страниц.

3. Если вы хотите сэкономить ресурсы сервера и вам не нужно, чтобы URL-адреса вашей фасетной навигации отображались в результатах поиска Google, вы можете запретить сканирование этих URL-адресов одним из следующих способов:

- Используйте robots.txt, чтобы запретить сканирование URL-адресов фасетной навигации;

- Используйте фрагменты URL (#) для указания фильтров.

4. Если сайт отвечает быстро в течение некоторого времени, лимит увеличивается, что означает, что для сканирования можно использовать больше соединений. Если сайт замедляется или отвечает ошибками сервера, лимит уменьшается, и Googlebot сканирует меньше.

5. Единственные способы увеличить ваш краулинговый бюджет - это увеличить мощность обслуживания для краулингов и (что еще важнее) повысить ценность контента на вашем сайте для поисковиков.

6. Если Google тратит слишком много времени на сканирование URL, которые не подходят для индекса, Googlebot может решить, что не стоит тратить время на просмотр остальной части вашего сайта (или увеличить бюджет для этого).

7. Устраните дублирующийся контент, чтобы сосредоточиться на сканировании уникального контента, а не уникальных URL-адресов.

8. Если вы не можете объединить их, как описано в предыдущем пункте, заблокируйте эти неважные (для поиска) страницы с помощью robots.txt . Блокировка URL-адресов с помощью robots.txt значительно снижает вероятность индексации URL-адресов.

9. Не используйте noindex, так как Google все равно будет запрашивать, но затем отбрасывать страницу, когда увидит мета тег noindex или заголовок в ответе HTTP, тратя время сканирования.

10. Возвращайте 404 или 410 код статуса для окончательно удаленных страниц.

❤️ Также если вы не видели мою выжимку по справке Яндекс Вебмастера, можете почитать ее здесь. ✔️

#google #сканирование

Источник новости https://t.me/ulianoov/581...