Хочу обратится к Вам как к королям автоматизации))
❓Вопрос 892
Хочу обратится к Вам как к королям автоматизации))
Есть сайт-каталог, около 17 000 000 страниц.
Есть мнение, что можно ускорить индексацию с помощью «ловца ботов», то есть по логам сервера подставлять боту непроиндексированые страницы.
1. Не получу ли я за это пенальти от гугла?
2. Как выгрузить и собрать страницы которые не в индексе ?
❗️Ответ
Есть несколько способов ускорить индексацию.
👉 Ловец ботов
Действительно, один из вариантов ускорить индексацию страниц — установка «ловца ботов», через который показывать ботам ссылки на непроиндексированные страницы. При правильной реализации шанс получить санкции от ПС сводятся к нулю.
⚠️ Однако у такого метода есть 2 основных недостатка:
🔸Ресурсозатратность — это дорогостоящее удовольствие;
🔸Неочевидная эффективность при условии, если страницы не соответствуют требованиям ПС — сейчас, чтобы страница попала в индекс, недостаточно подсунуть боту только ссылку на неё.
👉 Другие рекомендации
Кроме того, для ускорения индексации также можно:
🔸Создать отдельные sitemap со страницами, которых нет в индексе (чтобы было удобно отслеживать, мы дробим весь пул страниц на карты сайта по 1 тыс. — 5 тыс. URL);
🔸Вывести сквозные блоки с ссылками на страницы, которых нет в индексе. Например, для ИМ это может быть блок «Вас также заинтересует» с динамической подстановкой предложений;
🔸Отправлять URL на переиндексацию в GSC — можно автоматизировать с помощью скрипта;
🔸Настроить заголовки Last-Modified — отдавать 304 ответ для уже проиндексированных страниц, на которых не было изменений после последнего обхода бота, чтобы сосредоточить краулинговый бюджет на страницы, которые не были проиндексированы;
🔸Поставить внешние ссылки — этот метод используем для приоритетных страниц, которых нет в индексе;
🔸Оптимизировать краулинговый бюджет.
👉 Как выгрузить страницы, которых нет в индексе
Собираем страницы, которых нет в индексе, по следующему алгоритму:
1️⃣ Составляем список всех страниц сайта — получить его можно с помощью любого, удобного вам, краулера или из админки сайта.
2️⃣ Проверяем их индексацию:
▫️Базовый способ — через панели Google Search Console (отчёт «Покрытие») и Яндекс.Вебмастер (отчёт «Индексирование» — «Страницы в поиске»);
▫️С помощью сервисов, например, Netpeak Checker, KeyCollector (запрос по URL страницы).
При проверке также можно пользоваться операторами поисковых систем в связке с программами автоматизации. Однако важно помнить, что не все из них отрабатывают корректно, особенно в Google.
3️⃣ Отсекаем те, которые есть в индексе.
🚨 via @siteclinic_doctor 🚨
Источник новости https://t.me/siteclinic_doctor...