Всем привет! Почти все графики с моей стены перекочевали в...

Всем привет!

Почти все графики с моей стены перекочевали в интерфейс краулера и на горизонте видна дата релиза альфа версии.

В чем главное преимущество SaaS краулера? Вам не нужен отдельный компьютер с 16 гб оперативки, чтобы скраулить 500 тыс. страниц (и это без ссылок!).

Вам не нужно выбирать какие параметры страниц вы хотите обрабатывать. Вы можете работать с интерфейсом с любого компьютера, планшета, где есть браузер. Скорость краулинга не ограничена скоростью вашего интернета (вспомните качество инета в европейских гостиницах), я успешно тестировал краул нагрузку до 200 страниц в секунду.

Мы сканируем сайт, как это делает гугл - взять максимум информации со страницы к себе в индекс, а потом уже обрабатывать ее. Мы без проблем дадим вам информацию по ссылочному графу сайта из 4.5 млрд. ссылок на 30 млн страницах.

Моя самая главная цель при разработке краулера - это не показывать просто красивые графики с какими-то данными, а дать максимум информации о проблемах на сайте и помочь в их решении.

Кто хотел бы поучаствовать в закрытом тестировании оставьте свой мейл на http://bit.ly/octoalpha

Источник новости https://t.me/jetoctopus/14...