​Вы можете напрямую обращаться к бесплатному Wayback Machine API...

​Вы можете напрямую обращаться к бесплатному Wayback Machine API из Screaming Frog с помощью кастомного JavaScript-сниппета.

Это позволит обогатить данные краула архивной информацией, такой как:

— Когда страница была заархивирована в последний раз

— Была ли она вообще когда-либо заархивирована

— Прямая ссылка на снапшот

Зачем это может пригодиться?

— Находить удаленный контент: страницы, которые раньше существовали, а теперь отдают 404-ю ошибку, можно проверить на предмет их исторической ценности.

— Оценивать деградацию сайта: можно увидеть, какие разделы сайта существовали ранее, но со временем незаметно исчезли.

— Восстановление: находить страницы с историческими ссылками или упоминаниями, которые стоит восстановить или с которых нужно настроить редирект.

Используемый JS-сниппет:

const targetUrl = window.location.href;

const apiUrl = `https://archive.org/wayback/available?url=${encodeURIComponent(targetUrl)}`;

function fetchWaybackData() {

return fetch(apiUrl)

.then((response) => {

if (!response.ok) {

return response.text().then((text) => {

throw new Error(text);

});

}

return response.json();

})

.then((data) => {

const snapshot = data.archived_snapshots?.closest;

if (snapshot?.available) {

const ts = snapshot.timestamp;

const formattedDate = `${ts.slice(0, 4)}-${ts.slice(4, 6)}-${ts.slice(6, 8)}`;

return `Archived: ${formattedDate} | URL: ${snapshot.url}`;

} else {

return "No Archive";

}

});

}

return fetchWaybackData()

.then((result) => seoSpider.data(result))

.catch((error) => seoSpider.error(error));

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/5332...