Хочу обратится к Вам как к королям автоматизации))

❓Вопрос 892

Хочу обратится к Вам как к королям автоматизации))

Есть сайт-каталог, около 17 000 000 страниц.

Есть мнение, что можно ускорить индексацию с помощью «ловца ботов», то есть по логам сервера подставлять боту непроиндексированые страницы.

1. Не получу ли я за это пенальти от гугла?

2. Как выгрузить и собрать страницы которые не в индексе ?

❗️Ответ

Есть несколько способов ускорить индексацию.

👉 Ловец ботов

Действительно, один из вариантов ускорить индексацию страниц — установка «ловца ботов», через который показывать ботам ссылки на непроиндексированные страницы. При правильной реализации шанс получить санкции от ПС сводятся к нулю.

⚠️ Однако у такого метода есть 2 основных недостатка:

🔸Ресурсозатратность — это дорогостоящее удовольствие;

🔸Неочевидная эффективность при условии, если страницы не соответствуют требованиям ПС — сейчас, чтобы страница попала в индекс, недостаточно подсунуть боту только ссылку на неё.

👉 Другие рекомендации

Кроме того, для ускорения индексации также можно:

🔸Создать отдельные sitemap со страницами, которых нет в индексе (чтобы было удобно отслеживать, мы дробим весь пул страниц на карты сайта по 1 тыс. — 5 тыс. URL);

🔸Вывести сквозные блоки с ссылками на страницы, которых нет в индексе. Например, для ИМ это может быть блок «Вас также заинтересует» с динамической подстановкой предложений;

🔸Отправлять URL на переиндексацию в GSC — можно автоматизировать с помощью скрипта;

🔸Настроить заголовки Last-Modified — отдавать 304 ответ для уже проиндексированных страниц, на которых не было изменений после последнего обхода бота, чтобы сосредоточить краулинговый бюджет на страницы, которые не были проиндексированы;

🔸Поставить внешние ссылки — этот метод используем для приоритетных страниц, которых нет в индексе;

🔸Оптимизировать краулинговый бюджет.

👉 Как выгрузить страницы, которых нет в индексе

Собираем страницы, которых нет в индексе, по следующему алгоритму:

1️⃣ Составляем список всех страниц сайта — получить его можно с помощью любого, удобного вам, краулера или из админки сайта.

2️⃣ Проверяем их индексацию:

▫️Базовый способ — через панели Google Search Console (отчёт «Покрытие») и Яндекс.Вебмастер (отчёт «Индексирование» — «Страницы в поиске»);

▫️С помощью сервисов, например, Netpeak Checker, KeyCollector (запрос по URL страницы).

При проверке также можно пользоваться операторами поисковых систем в связке с программами автоматизации. Однако важно помнить, что не все из них отрабатывают корректно, особенно в Google.

3️⃣ Отсекаем те, которые есть в индексе.

🚨 via @siteclinic_doctor 🚨

Источник новости https://t.me/siteclinic_doctor...