Альтернативный подход к XML-сайтмапам...

Альтернативный подход к XML-сайтмапам

https://ohgm.co.uk/an-alternative-approach-to-xml-sitemaps/

Оливер Мейсон (ohgm) добился большего % проиндексированных урлов, изменив подход к формированию сайтмапа:

- перешел от нескольких сайтмапов, ограниченных 50 000 урлов, к множеству файлов, содержащих по 10 000 урлов. Вместо ~5 XML Sitemap получилось ~15

- файлы стали организованы в хронологическом порядке: products1.xml содержит самые старые продукты, а products14.xml - самые последние

- Бэрри Адамс также отмечал ранее: "Ограничение файлов Sitemap только 10 000 урлами приводит к более тщательной индексации. Я не уверен, почему — я подозреваю, что Google легче обрабатывать и сканировать меньшие списки урлов — но было неоднократно доказано, что меньшие карты сайта приводят к более высокой степени индексации"

- часто обновляющиеся карты сайта чаще сканируются. Вы можете поэкспериментировать с меняющимся порядком сортировки, чтобы имитировать это

- еще есть идея про альтернативный подход: вы можете динамически формировать файлы Sitemap в зависимости от того, что сканирует Googlebot:

-- у вас есть список урлов, которые должен сканировать Googlebot

-- вы создаете XML-карту сайта на основе ограниченного набора самых последних урлов (например, 20 000)

-- отслеживаете запросы Googlebot'а в логе сервера (access_log и т.п.)

-- каждый раз, когда Googlebot запрашивает один из урлов, которые вы отслеживаете, он удаляется из вашего списка (например, uncrawled.xml)

-- вместе с тем, урл добавляется в долгосрочный XML сайтмап (например, posts-sitemap-45.xml). Этот шаг является необязательным.

Источник новости https://t.me/notjohnmu/163...