Наверное, многие из вас уже позабыли, что в конце июля я...

739

Наверное, многие из вас уже позабыли, что в конце июля я анонсировал новый сервис для краулинга/сканирования сайта – Qrawl.io.

«…сейчас мы быстро все пофиксим и вернемся с новым раундом тестирования!» - обещал я, но оказалось все сложнее. Так что я приношу свои извинения за столь длительную задержку.

На прошлом этапе было более 100 тестеров: спасибо вам за обратную связь, мы все (многое) учли и провели не только работу над ошибками, но существенно улучшили техническую часть парсера.

Краул предлагает базовый функционал (но теперь ваш ноут точно вытянет, всё в облаке, работает очень быстро, да еще и бесплатно):

- Базовые вещи (robots.txt, meta robots, canonical, редиректы, ответы сервера и т.д.),

- Анализ метатегов и заголовков (title, description, h1-h6),

- Анализ не HTML содержимого (скрипты, стили, файлы, документы и т.д. с группировкой по URL)

- Анализ изображений (с группировкой по URL),

- Анализ структуры (и вложенности),

- Анализ ссылок (внешних и внутренних),

- Сохраняет все ссылочные связи,

- Может обрабатывать 1000+ URL в секунду, если позволит сервер, где хостится сайт,

- Определение антиботов и защиты от парсинга (предупредим если для успешного сканирования сайта необходимо будет отключить защиту или добавить ip сервиса в вайтлист).

На этот раз:

- Никаких инвайтов (регистрация свободная для всех),

- Фидбек в свободной форме и по желанию (пишите мне @victimalex),

- Ограничение на 30 000 url на аккаунт (можно просканировать 30к страниц в рамках одного сайта, либо 30 сайтов по 1к страниц – как вам нравится).

🔗 https://app.qrawl.io/

Короче, го тестить, друзья! 😎

PS Как только базовый функционал покажет свою стабильность, мы сразу отправимся пилить действительно крутые штуки, так что если у вас есть какие-то идеи, пусть даже совершенно безумные, пишите!