Как система индексирования Google может исключить быстро...

296

Как система индексирования Google может исключить быстро меняющиеся части страницы при проверке на дубликаты

Как Google узнает, являются ли два документа дубликатами, если части документа меняются с высокой скоростью? Патент под названием "Обновление индекса документов поисковой системы на основе вычисленного возраста измененных частей документа" проливает свет на этот вопрос.

Google может исключить новый контент из расчета дублирования (checksum).

Даже если Google обнаружит новый контент, он может не отправить его на индексацию (реклама).

Индексирующий механизм Google сталкивается со множеством проблем при индексировании Интернета.

— Работа с дублирующимися документами

— Высокочастотные изменения одного и того же документа

— Перекос в сканировании

Индексирование дублей приводит к нерациональному использованию места в индексе, замедлению скорости поиска и может отрицательно сказаться на удобстве пользователей.

При проверке дубликатов Google не использует контент, который постоянно меняется в промежутках между просмотрами.

Если у вас есть сайт, большая часть контента которого меняется быстрее, чем Googlebot сканирует его, добавьте более стабильный дополнительный контент, который может снизить риск дублирования.

Более детальный разбор этого патента Гугла в статье:

https://www.jcchouinard.com/de-duplication-at-google-using-the-aged-of-portions-in-a-document/

@MikeBlazerX