Код HTTP 304 Not Modified (не изменилось) очень полезен для...

Код HTTP 304 Not Modified (не изменилось) очень полезен для того, чтобы сообщить краулерам, что содержимое, к которому они обращаются, не изменилось с момента последнего просмотра, но он также может привести и к обратному эффекту, пишет Гари Иллиес

Вот как это происходит:

1. Краулер запрашивает URL

2. Сервер сталкивается с какой-то ошибкой и выдает пустую страницу с кодом ответа HTTP 200 (ОК).

3. Краулер рассматривает это как временную "мягкую" ошибку и планирует повторный краул для проверки.

4. Поскольку содержимое страницы (которое на самом деле не было предоставлено) не изменилось, сервер возвращает HTTP 304 для данного URL, без содержимого (как предписывает стандарт HTTP RFC 9110)

5. Краулер "узнает", что ошибка является постоянной, и больше не пытается выполнить повторный краул (в конце концов, это произойдет, но задерживать дыхание не рекомендуется).

Случается ли такое? Да.

Часто? Абсолютно нет.

Но стоит помнить об этом, потому что отладка такой ошибки - сущий кошмар.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/2197...