...

https://developers.google.com/search/docs/advanced/crawling/googlebot?hl=en

Гугл немного дополнил документацию (в ru версии пока нет):

Googlebot can crawl the first 15MB of an HTML file or supported text-based file. Any resources referenced in the HTML such as images, videos, CSS, and JavaScript are fetched separately. After the first 15MB of the file, Googlebot stops crawling and only considers the first 15MB of the file for indexing. The file size limit is applied on the uncompressed data. Other crawlers may have different limits.

не знаю, для кого актуальны такие ограничения, но гуглбот сканирует только первые 15 Мб html или иного текстового содержимого. разве что для pdf, к которым это ограничение тоже применимо

Источник новости https://t.me/notjohnmu/78...