🤖 Использование заголовка X-Robots-Tag на сайте

🤖 Использование заголовка X-Robots-Tag на сайте

Наверняка многие опытные специалисты не раз сталкивались с ситуацией когда нужно выкинуть из индекса что-то не имеющее HTML-кода (например, какие-то файлы с данными не для паблика).

Именно для таких ситуаций создан заголовок ответа сервера X-Robots-Tag, который может содержать те же команды, что и мета-тег robots. Поддерживают его в том числе Яндекс, Google и Bing. А проверить наличие закрывающего X-Robots-Tag может даже краулер Screaming Frog.

Пример синтаксиса: X-Robots-Tag: noindex, nofollow

Давайте разберём ситуации где можно использовать этот заголовок.

1. Закрытие от индексации файлов документов

Именно с помощью X-Robots-Tag можно наверняка закрыть файлы PDF, RTF и SWF (формат уже рипнувшегося флэша). Также можно закрыть документы Microsoft Office: DOC, DOCX, XLS, XLSX, PPT, PPTX, и документы OpenDocument: ODT, ODS, ODP и ODG. В противном случае все эти файлы с вашего сайта могут влететь в индекс, даже если вы закрыли их от сканирования в robots.txt.

2. Кстати про robots.txt и служебные файлы

Такие файлы тоже могут влететь в индекс: xml карты сайтов, robots.txt и rss-фиды (для тех же Турбо-страниц). Не бойтесь, закрывая их посредством указания noindex в X-Robots-Tag вы не рискуете: поисковые системы будут обходить и учитывать служебные файлы как и прежде. Просто эти файлы не будут засорять поисковый индекс.

3. Изображения и другие ресурсы страниц

С помощью X-Robots-Tag можно управлять индексированием изображений сайта. Настроив в дополнение к этому генерацию отдельной xml карты сайта со ссылками на изображения которые нужно обойти поисковому роботу вы получите максимально быструю индексацию/деиндексацию файлов изображений.

Помимо изображений на страницах у нас могут использоваться AJAX-файлы (например, если используете UMI.CMS). И их тоже лучше закрывать от индексации!

Источник новости https://t.me/seo_rocket/33...