Делали запуск нового сайта и через время заметили, что в поиске...

❓Вопрос 5375

Делали запуск нового сайта и через время заметили, что в поиске появился тестовый сайт. Проверили - в роботс стоит игнор. Как так могло выйти, что он попал в индекс? Если попал, значит надо удалять или какие действия нужно предпринять?

❗️Ответ

Сам по себе файл Robots.txt является рекомендацией для Google и в ряде случаев его правила могут игнорироваться. Самые частые ситуации, почему тестовый сайт мог попасть в индекс:

🔸 Бот просканировал его до установки запрета.

🔸 Есть или были внешние ссылки на него, в том числе оставленные косвенными способами. Например, из документов, которые открыты для интернета, и ссылки на эти документы есть в сети.

🔸 В sitemap актуального сайта могли быть также ссылки на тестовый домен.

👉 Если уже попал в индекс, тогда необходимо сделать такие действия:

1️⃣ Добавьте meta-тег <meta name="robots" content="noindex, nofollow">на все страницы тестового сайта.

2️⃣ В Google Search Console используйте инструмент "Удаление url" для быстрого удаления из индекса.

3️⃣ Проверьте основной сайт на предмет внутренних ссылок на тестовый домен или поддомен и удалите их. А также проанализируйте, откуда могли взяться внешние ссылки, и попробуйте их снять.

‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях!

🚨 via @siteclinic_doctor 🚨

Источник новости https://t.me/siteclinic_doctor...