Сделали первую версию софта по добыче дроп-доменов

Сделали первую версию софта по добыче дроп-доменов

Как я и говорил ранее, с Яндекс я больше не дружу. А чтобы развивать Google - нужны ссылки (и много чего ещё, НО…).

Закуп ссылок на площадках - дорого, поэтому решили податься в историю получения ссылок с дроп-доменов. Постоянно мониторить руками освобождающиеся домены или юзать через кривые сервисы стало слишком долго. Поэтому мы разработали собственное решение под конкретные задачи.

Суть простая - постоянно автоматизировать рутину, поэтому мы реализовали первую версию парсера, который берет на себя всю «грязную» работу по фильтрации доменов.

Система берет любые ссылки (профили, поисковая выдача, статьи) и сама вычленяет чистые домены (root domain) и уберает дубли.

Умная проверка. Парсер пробивает код ответа (обходя защиты), чекает до 10 редиректов и вытаскивает <title> страниц, чтобы понимать тематику сайта.

Сегрегация базы:

1. Подходящие - целевые сайты, которые уходят на мониторинг.

2. Мусор - отработанный материал. Он хранится, чтобы при загрузке новых баз мы не тратили ресурсы на проверку того, что уже забраковали.

Планировщик. Самое вкусное. Система сама перепроверяет базу раз в месяц/неделю и подсвечивает домены, у которых вот-вот закончится срок регистрации (или уже закончился).

По итогу мы получили инструмент, который работает автономно, фильтрует базу по ключевым словам в Title и позволяет нам забирать только нужные и лучшие домены. В планах куча доработок, но очень кайфую от таких вещей 😀😀

Нужна помощь профи. Если бы делали что-то похожее, то что бы добавили в такой сервис?

Источник новости https://t.me/digitalalekzo/449...