Как я ускорил анализ дропов с помощью Веб Архива и Python 🔍

Как я ускорил анализ дропов с помощью Веб Архива и Python 🔍

Недавно задался вопросом, как можно ускорить рутину при проверке дроп доменов в Веб Архиве и понял, что помочь мне с этим снова сможет Python. Единственное, что я хотел массово проверить - это наличие 301 редиректов в Веб Архиве по списку доменов, но потом понял, что можно добавить еще пару пунктов и вот что у меня получилось.

Скрипт по очереди берет домены из txt файла и проверяет их на:

1. Наличие 301 редиректов в Веб Архиве (за последние 27 лет)

2. Выдергивает Title и Description из последнего снимка в Веб Архиве

3. Проверяет дату истечения срока регистрации домена через Who is

В качестве результата скрипт по прежнему создает для меня Excel таблицу с данными колонками (результат на скрине)

Планирую дальше развивать эту идею и добавлять другие критерии для быстрого анализа дроп доменов. Вот некоторые из них:

- Текущий код ответа сервера домена

- Язык контента

- Дата первой регистрации

- Домен не закрыт от Веб Архива

- Наличие снимка в Веб Архиве за последний год

- Наличие главной страницы дропа в индексе Google

- Отсутствие исходящих ссылок на другие домены

- Отсутствие в индексе страниц с папкой "_media_" в URL

- Отсутствие в индексе под доменов

- Отсутствие в индексе страниц с иероглифами

- Отсутствие в индексе 404 страниц

- Отсутствие в индексе php страниц

- Отсутствие в индексе pdf страниц

- Смена NS не более 3 раз

Конечно, есть много ручных и важных проверок, которые, скорее всего, не получится автоматизировать, но уже стало гораздо быстрее чекать дропы 😎

Как надо SEO +шить не надо 🔥

#python #google #дропы

Источник новости https://t.me/ulianoov/343...