Парсинг - второй тип контента, которым я наполняю свои ПБН

Вчера я писал, как у меня работает АИ генерация по ключам. Второй источник контента в ПБН 3.0 - парсинг тематических сайтов. Здесь тоже строится отдельная система, ща распишу, что делается:

1. Сначала я выбираю источники под конкретную ПБН

Допустим, у меня тот же спортивный сайт. Мне не нужен один огромный донор, с которого я буду напостой копировать все. Я специально собираю сборную солянку из нескольких источников. Например, под один ПБН могу выбрать 5 разных доноров и с каждого парсить всего по 1-2 нужные мне категории. И уже из этого собирается один полноценный спортивный портал. То есть мой ПБН не становится копией одного конкретного сайта. У него получается свой набор источников, своя структура категорий, свое расписание публикаций, своя перелинковка и свой микс материалов. И для каждого следующего ПБН этой же тематики этот набор можно менять:

🟢 другие доноры

🟢 другие категории

🟢 другие пропорции контента

🟢 другие лимиты

В итоге даже внутри одной тематики сайты получаются разными

2. Потом выбираются конкретные категории

Мне не обязательно парсить весь сайт. Условно на одном доноре есть:

🟦 Донор 1 - футбол и лига чемпионов

🟦 Донор 2 - бокс и мма

🟦 Донор 3 - теннис

🟦 Донор 4 - формула-1

🟦 Донор 5 - баскетбол + хоккей

Я забираю с донора только по правилам:

🟢 откуда брать

🟢 что брать

🟢 куда это должно попадать

3. Под это создается структура самого ПБН

Это тоже автоматизируется. Если я запускаю новый спортивный ПБН, под проект задается структура, типо если это Спорт:

🟢 Футбол

🟢 Бокс

🟢 MMA

🟢 Теннис

🟢 Баскетбол

🟢 Хоккей

🟢 Автоспорт

При необходимости можно делать еще глубже, типо например:

Футбол:

🟢 Украина

🟢 Англия

🟢 Испания

🟢 Италия

🟢 Лига чемпионов

И дальше разные источники уже привязываются к конкретным точкам этой структуры. Причем гугл и пользователь видят не: вот сайт 2, который полностью скопировал и спиздил контент с сайта 1, а отдельный ресурс, внутри которого собран контент из разных источников и тематических направлений, плюс добавляются другие типы контента. Потому что кроме парсинга на том же ПБН у меня могут параллельно работать: аи-генерация плюс рерайт плюс переводы. В результате получается уже достаточно большая сборная солянка из разных типов и источников контента.

4. Дальше настраивается маппинг

По сути я один раз говорю платформе: эта категория донора ложится вот в эту категорию акцептора. Например:

👉 Донор 1 /football/ в ПБН /football/

👉 Донор 2 /ufc/ в ПБН /mma/

👉 Донор 3 /formula-1/ в ПБН /autosport/formula-1/

5. Отдельно задается частота парсинга

Для каждого источника и каждой категории можно выставить свои правила, типо “футбол” проверяем часто, “новости” - каждый час и так далее. Причем благодаря тому, что источников несколько, я могу регулировать пропорции контента на самом ПБН. Например:

🟦 Донор 1 - максимум 5 публикаций в сутки

🟦 Донор 2 - 3

🟦 Донор 3 - 7

🟦 Донор 4 - 2

🟦 Донор 5 - 5

И в результате один источник не забивает собой весь сайт. Получается нормальный микс контента из разных мест.

6. Забирается не только текст

Если материал подходит и нормас, дальше система может обработать всю полезную структуру публикации:

🟢 заголовок

🟢 текст

🟢 подзаголовки

🟢 списки