Используйте логи сервера как оружие, чтобы прибить бесконечные...

Используйте логи сервера как оружие, чтобы прибить бесконечные циклы краулинга

Когда вы пытаетесь вычистить бесконечный цикл краулинга на e-commerce сайте, программные ссылки в шаблоне пофиксить легко.

А вот скрытые ссылки в контенте — те, что редакторы вручную вставляли в описания продуктов много лет назад, — вынесут вам мозг, потому что их невозможно найти стандартным поиском.

Для ситуации, которая совсем зашла в тупик, есть быстрый и грязный хак, чтобы отловить их все, делится Тед Кубайтис.

Во-первых, вам нужно полностью изменить проблемную структуру URL.

Например, переименуйте старый путь для поиска с /search на что-то совершенно новое, вроде /find.

Затем вы внедряете общий редирект, который отправляет каждый URL, все еще использующий старый путь /search, на одну-единственную, общую страницу.

Это действие фактически создает ловушку-приманку (honeypot).

Последний шаг — мониторить логи вашего сервера.

Когда краулеры и пользователи будут попадать на старые внутренние ссылки, разбросанные по вашему сайту, они будут пойманы вашим редиректом.

URL-адреса рефереров в ваших веб-логах для каждого хита по этому старому, средирекченному пути теперь дадут вам точный список всех мест, которые вам все еще нужно пофиксить.

Это превращает ваши логи в диагностический инструмент, который точно определяет источник каждой проблемной ссылки, позволяя вам наконец искоренить цикл краулинга.

@MikeBlazerX

Хотите глубже? Вам в @MikeBlazerPRO

Источник новости https://t.me/mikeblazerx/5846...