Привет, ребятки. Хочу поделиться с вами скриптом, который...

269

Привет, ребятки.

Хочу поделиться с вами скриптом, который позволит вам без проблем скачать список площадок из каталога биржи GoGetLinks.

У нас в ЧекТрасте уже почти 10 лет существует страница с инструкцией по выгрузке площадок - https://checktrust.ru/manual/gogetlinks.html - но скрипт, который занимается парсингом, перестает через какое-то время работать.

Все дело в том, что администрация GGL, во-первых, не любит наш сервис всеми своими фибрами и пытается дискредитировать наши показатели (хотя мы просто собираем данные с десятков других сервисов и предлагаем пользователям самим решать, какие сайты хорошие, а какие нет). 👊🏻 Во-вторых, они решили, что их каталог площадок – неприкосновенная ценность, поэтому много лет назад убрали возможность экспорта списка.

По этим причинам они иногда меняют верстку и разметку, чтобы публичные скрипты парсинга каталога не работали.

Но в этот раз мы постарались с ребятами написать устойчивый к изменениям скрипт, который должен прожить максимально долго. Он был моим личным, но я делюсь с вами. 💪🏻

Инструкция:

- Заходите в бирже в каталог площадок и выбираете отображать на странице по 100 сайтов,

- Указываете нужные вам параметры (цена, скорость размещения и др.),

- Открываете консоль браузера (F12 или fn+F12),

- Вставляете наш скрипт и нажимаете Enter.

В консоли вы увидите ход процесса, а страница в браузере сама будет перелистываться по пагинации. Когда скрипт дойдет до последней страницы, сформируется и автоматически скачается файл domainList.txt со списком всех площадок.

👉🏻 NB! Если решите парсить весь каталог (~25к площадок), это займет около 30 минут. Но если вам не очень нужны вообще все площадки, лучше ограничиться определенной выборкой. А то вдруг им захочется ввести блокировку за повышенную активность.

Что дальше делать с этим файлом, решать вам. Например, можно проверить их качество в ЧекТрасте: инструкция есть на странице со скриптом.

Скрипт здесь: https://checktrust.ru/manual/gogetlinks.html

PS Выгрузку из Миралинкса не чинили, но если надо, пишите в комментах. Да и другие биржи, если вас интересуют, дайте знать, подготовим инструкции.