Как искать сетки конкурентов Привет в 2022-ом и с Новым Годом! У...

Как искать сетки конкурентов

Привет в 2022-ом и с Новым Годом! У меня он начался с новых идеи для реализации которых решил прикупить A-Parser, но обо всем по порядку.

Многие инсайды, нестандартные подходы, интересные ниши и модели монетизации можно найти анализируя успешных конкурентов или еще лучше, их сетки. Основная проблема только в том, как их найти.

Часто используемые варианты:

1) Посмотреть какие сайты на том же IP через https://2ip.ru/domain-list-by-ip. Пример - https://gyazo.com/f8a55cb36e260fc7c1f5cd744be6e15d. Метод рабочий, НО:

- изначально нужно найти хотя бы 1 успешный сайт;

- сервис часто показывает далеко не все сайты на одном IP;

- на хостинге в большинстве случаев масса сайтов других владельцев, что сильно усложняет поиск;

- нет аналитики, показывающей, как ранжируются эти сайты;

- прошаренные ребята разносят сайты на разные IP

2) Воспользоваться Keys.so для поиска по Adsense и Analytics. Пример - https://gyazo.com/3315253578999a5d5af22e9e92303888. Хороший метод, даже бесплатно можно что-то выцепить, если поиграться с фильтрами - https://gyazo.com/4fadb17f78fafb99bf8c29ec81584fda, НО

- изначально нужно найти хотя бы 1 успешный сайт;

- данные легко скрыть;

- по многим сеткам, где даже стоит Adsense нет данных;

- если владелец не использует контекст найти его нереально.

Какие я увидел варианты решений:

1. Собрать 1000000 самых посещаемых сайтов рунета. Спарсить по ним Title, IP, ИКС, дату регистрации домена, дату 1-го упоминания в вебархиве, число страниц в индексах поисковых систем, подтянуть из разных сервисов посещаемость в Яндекс и Google, добавить к ним показатели аномальности и на основе фильтрации всех вышеперечисленных характеристик получить возможность быстро находить успешные сайты и сетки с ними. Для сбора этих данных мне и понадобился A-parser, результат оправдал ожидания - https://gyazo.com/74db3ce36969c2a7e9423deaed39d958, но все же, если заморочиться (разнести сайты по разным IP, сделать уникализацию мета-тегов, регить домены в разное время) можно сильно усложнить поиск, поэтому нужен был еще 1 вариант.

2. Что в итоге придумал - полностью спарсить главные страницы по 1000000 самых посещаемых сайтов рунета и сделать быстрый поиск по коду в них по тем элементам, которые повторяются в рамках 1 сетки. В итоге получилось 157 гигов данных и долгий поиск по всей базе около 6 часов. Пришлось поломать голову, но решение найдено. Удалось сократить время поиска до 3-5 минут по большинству задач и при глобальном поиске до 40 минут. Пока только разбираю данные, позже поделюсь результатами, но уже вижу много интересных вещей. Плюс параллельно понял, как найти все сайты, использующие CMS Arhivarix из лайфхака Филиппа - https://t.me/altblogru/236.

P.S. Разбираться во всем этом самостоятельно и покупать A-parser не призываю, даже скорее наоборот, не вижу смысла. Скоро сделаю доступное и простое решение, которое сможет использовать каждый.

Источник новости https://t.me/altblogru/291...