UPDATE. Добавил по сайтам раздел "Структура" ->...

UPDATE. Добавил по сайтам раздел "Структура" -> "Все URL сайта"

Теперь выводится список всех известных URL.

Нюансы при добавлении домена в мою систему:

- сайт с www. и без www. будут считаться одним доменом. На практике, некоторые сайты не ставят элементарного редиректа с www на без www или наооборот. В итоге в индексе появляются междоменные дубликаты.

- Тоже самое и про http и https протоколы. Хорошо, если сайт делается сразу на https. Но бывают случаи, что в индексе какой то период остаются такие URL. И их тоже нужно учитывать. Хорошо, если поставили редирект с http на https (встречал случаи и наооборот редирект с https на http).

Т.е. не нужно париться добавлении домена с префиксом www или без www, с протоколом https или http. На самом деле, с т.з. SEO это 4 хоста = 4 версии 1 домена.

Когда додумаю индексатор, все добавленные сайты у пользователя, будут парситься.

Сейчас база URL актуальна только за счет данных поисковой выдачи.

Источник новости https://t.me/soltykseo/5697...