Вдохновившись роликом Ивана Зимина (@heymoneymaker) про ChatGPT...

Вдохновившись роликом Ивана Зимина (@heymoneymaker) про ChatGPT для написания скриптов, решил попробовать создать решение для выгрузки и разбора больших сайтмапов.

Это просто демонстрация, как человек практически без знания python'а и минимальным опытом программирования может автоматизировать работу без привлечения разработчиков :) Потратил полчаса времени, в процессе было несколько уточняющих промтов после того, как столкнулся с ошибками при парсинге. Использовал GPT-4.

Что он делает:

- выгружает sitemap index, проходит по всем сайтмапам внутри

- выводит кол-во урлов в каждом сайтмапе и общее кол-во урлов

- складывает все полученные урлы в массив и сохраняет в текстовый файл

- выводит кол-во урлов в формате: Первый фрагмент урла документа | Кол-во вхождений

- сохраняет в SQLite-базу таблицу с фрагментами и датой для последующего сравнения изменений.

Развивать его, безусловно есть куда (использовать регулярки для выделения разделов, а не просто первый уровень урла, добавить визуализацию изменений по датам и т.п.)

Источник новости https://t.me/notjohnmu/1323...