OpenRobotsTXT — это открытый архив файлов robots.txt со...

OpenRobotsTXT — это открытый архив файлов robots.txt со всего мира.

Посещая домены и со временем кэшируя эти файлы, проект отслеживает, как меняются файлы robots.txt и какие юзер-агенты к ним обращаются.

Цель OpenRobotsTXT — предоставлять ценную информацию, инструменты и отчеты для вебмастеров, исследователей и широкого интернет-сообщества для открытого публичного изучения.

Вот что вы можете сделать:

— Просматривать статистику по юзер-агентам (ботам), которых мы обнаружили в ходе анализа.

— Искать данные по отдельным ботам с помощью поиска по ботам. Проверять ваши директивы для user-agent на соответствие общепринятым веб-стандартам.

— Посмотреть на ваш robots.txt глазами бота. Отличный способ убедиться, что конфигурация вашего сервера обеспечивает доставку файла robots.txt именно так, как вы задумали.

https://openrobotstxt.org/

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/5561...