Google подтвердил: 404-е ошибки не расходуют краулинговый...

Google подтвердил: 404-е ошибки не расходуют краулинговый бюджет. О чем на самом деле стоит беспокоиться.

По итогам недавней сессии вопросов и ответов с Гари Илшем из Google, вот исчерпывающее разъяснение о том, как обрабатываются 404 ошибки.

404-е ошибки и краулинговый бюджет

Страницы, которые отдают код ответа 404, не расходуют краулинговый бюджет вашего сайта.

Это сделано намеренно.

Если бы 404-е учитывались в краулинговом бюджете, конкурент мог бы злонамеренно направить миллионы битых ссылок на ваш сайт, чтобы исчерпать ваши краулинговые ресурсы.

Google предотвращает это, не засчитывая 404-е в ваш бюджет.

Что делать, если у вас миллионы 404-х страниц?

Даже если ваш собственный сайт генерирует миллионы 404-х, это не является проблемой краулингового бюджета.

Хотя на это и тратятся некоторые ресурсы планировщика, Гуглобот спроектирован так, чтобы адаптироваться.

Когда он обнаруживает шаблон URL, который постоянно отдает 404-й статус, он со временем будет автоматически обходить этот шаблон все реже и реже.

Настоящая опасность: ресурсы сервера

Настоящая проблема с 404-ми страницами — это не краулинговый бюджет, а нагрузка на сервер.

Если ваша страница с 404-й ошибкой является ресурсоемкой — например, для ее генерации выполняется множество запросов к базе данных или запускаются сложные скрипты — вы создаете серьезный риск.

Когда Гуглобот (или любой другой бот) обнаруживает большое количество таких 404-х URL, он может непреднамеренно перегрузить ваш сервер запросами, что приведет к замедлению работы или простою сайта.

Практическая рекомендация

Ваша страница с 404-й ошибкой должна быть максимально простой и легковесной.

Отдавайте статичную, минималистичную страницу, которая не требует ресурсоемких операций на стороне сервера.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/5518...