❓ Вопрос #770 Стал замечать, что мой сайт ччасто парсят...

#ответы

❓ Вопрос #770

Стал замечать, что мой сайт ччасто парсят конкуренты всяким софтом типа Netpeak Spider, XENU. Во время парсинга сайт «лежит» практически, так как этот софт грузит систему сильно.

Решил закрыться от всяких ботов. Как это лучше реализовать — через .htaccess млм robots.txt? Возможно еще какой-то вариант есть?

❗️ Ответ

Файл .htaccess — это лучший вариант для скрытия сайта от ботов. В нём производятся сложные конфигурационные настройки, в том числе и блокировка по IP и User-agent.

Сделать Вы это можете следующими способами:

▫️Вручную, прописав самостоятельно запрещающие настройки в файле. Но если Вы не обладаете специальными знаниями, то лучше доверьте эту работу программисту.

▫️Через панель хостинга: многие хостеры дают возможность клиентам прописывать запреты для ботов через интерфейс. Вам нужно только определить какие именно IP и юзер-агенты блокировать.

Для этого проверьте какие боты создают наибольшую нагрузку на сайт через панель того же хостинга. Либо проведите глубокий анализ логов самостоятельно. Мы для анализа логов используем Power BI. Подробная инструкция как анализировать логи с её помощью — http://bit.ly/355gFHX

👉 via @siteclinic_doctor

Источник новости https://t.me/siteclinic_doctor...