​Хотите проверить, не заблокирован ли URL-адрес в Google?

​Хотите проверить, не заблокирован ли URL-адрес в Google?

Поскольку Гугл уже удалил их тестировщик robots.txt, а большинство онлайновых парсеров не следуют стандарту Google, это непросто.

Попробуйте этот блокнот Colab, который действует так же, как и Googlebot, используя парсер с открытым исходным кодом Гугла.

С ним вы можете протестировать и другие пользовательские агенты.

https://colab.research.google.com/drive/1EBCeZKO-c0-2cc5F4urmqoGvfoItYikV

-

Есть еще один тестировщик Robots.txt, который позволяет проверять множество URL-адресов одновременно.

Добавьте столько URL, сколько хотите, и он проверит, доступен ли каждый из них согласно robots.txt, который вы хотите проверить.

https://colab.research.google.com/drive/1_yDVOXi3AfMzIKyEosEYt08fFbIle5Eb

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/3039...