Саймон Кокс столкнулся с деиндексацией сайта simoncox.com...

153

Саймон Кокс столкнулся с деиндексацией сайта simoncox.com, когда проверял его работу в Bing Webmaster Tools (BWT) в январе 2025 года.

Несмотря на обычно небольшой трафик с Bing, растущая важность индекса Bing для LLM и других поисковых систем, таких как DuckDuckGo, делала решение проблемы крайне важным.

Инструмент проверки URL-адресов BWT показывал статус главной страницы как "Обнаружена, но не пройдена", без ожидаемых зеленых галочек, указывающих на успешное индексирование.

Парадоксально, но вкладка "Живая страница" подтвердила, что URL может быть проиндексирован Bing.

Дальнейшее исследование с помощью отчета Crawl and Indexing в разделе Search Performance показало катастрофическое падение: количество проиндексированных страниц упало со 120 до нуля, начиная с августа 2024 года.

Хотя было зарегистрировано 158 ошибок при переползании, Саймон не считал, что они напрямую связаны со сроками деиндексации.

Запрос site:simoncox.com в поиске Bing подтвердил катастрофу - ни одна страница с его сайта не присутствовала в SERP.

Чтобы решить эту проблему, Саймон предпринял следующие шаги:

1. Провел сканирование сайта с помощью BWT, выявив пять ошибок HTTP 500, которые не удалось воспроизвести с помощью других инструментов для поиска, что указывает на проблемы с краулером Bing, а не с сайтом в целом.

2. Вручную добавил 37 страниц в индекс с помощью URL Inspection и запроса на индексацию, который оказался безуспешным через неделю.

3. Исследовал проблемы "качества контента", отмеченные IndexNow.

Внес изменения в потенциально проблемную статью, заменив цитируемый текст скриншотами, чтобы избежать признаков плагиата.

4. Следовал контрольному списку для исправления сайтов, исключенных из индексации Bing, проверяли достоверность XML sitemap, валидность robots.txt, правильность ответов 404 и технические SEO-элементы.

5. Повторно отправил основную карту сайта и RSS-ленту после удаления старой записи карты сайта.

6. Удалил блоки AI crawler из своего файла robots.txt, опасаясь, что они могут конфликтовать с интеграцией Co-pilot от Bing.

7. Обратился в службу поддержки Bing, получив бесполезный ответ, что сайт не соответствует стандартам.

8. Переключил хостинг с Netlify на Cloudflare Pages после обнаружения постоянной 500-й ошибки, настроив двойное развертывание для гибкости.

9. Устранил проблемы с редиректами на Cloudflare, консолидировав правила с помощью splats, после того как обнаружил практические ограничения для статических редиректов.

10. Отправили второй тикет в службу поддержки с тем же бесполезным результатом.

11. Включили в Cloudflare функцию Crawler Hints для использования IndexNow, автоматически отправив 839 URL, что привело к увеличению активности краулеров.

12. Обнаружил, что его скрипт Fathom Analytics был неправильно размещен после закрывающего тега </html>, но перед </body>, что нарушало стандарты HTML.

Это изменение было сделано незадолго до начала деиндексации.

13. Исправил размещение скрипта и повторно отправил URL-адреса всех страниц с помощью инструмента отправки URL-адресов BWT.

После этих изменений Bing стал ежедневно сканировать больше страниц.

Сайт снова появился в SERP, иногда с расширенными списками, показывающими подссылки и описания, а BWT сообщила о возобновлении количества кликов и показов.

Однако восстановление оказалось недолгим.

Вскоре после документирования своего опыта Саймон заметил, что его сайт снова пропал из поиска по оператору site: в Bing, несмотря на то что Webmaster Tools показывал количество показов и кликов.

Он заподозрил, что выявил новую причину, и внес еще одно изменение, запланировав тест, чтобы убедиться, что исправление сработало.

https://www.simoncox.com/post/2025-04-07-recovery-from-a-bing-de-indexing/

@MikeBlazerX