Как использовать кастомные извлечения Screaming Frog + скрипт...

213

Как использовать кастомные извлечения Screaming Frog + скрипт Cosine Similarity на Питоне для автоматизации внутренней перелинковки

1. Пользуясь XPath, извлеките текст страниц, которые вы хотите проанализировать, с помощью функции кастомных извлечений Screaming Frog.

2. Когда краулинг закончится, загрузите CSV и переименуйте его в "custom_extraction_full_text.csv".

Откройте CSV, удалите все пустые строки и переименуйте столбец, в котором находится текст, в "content".

Итоговая структура столбцов должна состоять из address, status code, status, и content.

3. Загрузите CSV-файл на Google Диск.

4. Откройте Google Colab и создайте новый блокнот (File > New Notebook в Drive).

Вставьте предоставленный код Python в блокнот.

5. Запустите скрипт после предоставления доступа к Google Диску.

В результате вы увидите предлагаемую внутреннюю перелинковку, причем на каждой странице будут показаны потенциальные ссылки и баллы их схожести.

Скрипт Python работает следующим образом:

— Извлекает содержимое страниц из столбца "Содержание" фрейма данных

— Преобразует содержимое в числовые векторы с помощью TfidfVectorizer, основанного на модели TF-IDF

— Вычисляет косинусное сходство между всеми страницами, чтобы определить, насколько схоже их содержимое

— Создает матрицу сходства (csim), где каждое значение указывает на сходство между двумя страницами.

Затем скрипт выполняет итерации по каждой странице, ищет другие страницы с косинусным сходством выше порогового значения (по умолчанию 0,5) и выводит URL страницы вместе с URL возможных внутренних ссылок и их оценками сходства.

https://anaperezbotella.com/en/blog/internal-link-seo-google-colab-python/

@MikeBlazerX