Я отдал 404-й код для ~22к урлов на своем сайте, чтобы посмотреть, сколько времени понадобится Гуглу, чтобы перестать их краулить, и похоже, что Гугл краулит их еще активнее, отмечает Винисиус Станула.
Я взял фиксированную группу из ~22 000 этих ст...