Проверка сайтмапов вскрыла мусор у топов — редиректы...

Проверка сайтмапов вскрыла мусор у топов — редиректы, noindex и шаблонные каноникалы

Google заявляет, что будет "пытаться сканировать ваши URL точно так, как указано", поэтому каждая запись в сайтмапе, которая редиректит, выдает ошибку, содержит noindex или прокидывает другой каноникал, сжигает краулинговый бюджет на URL, который сайт сам же просит не использовать.

Проверка в реальном времени через Sitemap Inspector (Chrome-расширение, которое фетчит URL из сайтмапа и фиксирует редиректы, ошибки, noindex, чужие каноникалы и правила гуглобота), запущенная 27 сентября 2026 года, вскрыла массовый провал у тех, кто должен делать всё идеально:

— Adobe UK Learn: 978 страниц; 98 из первых 100 проверенных отдают каноникал на плейсхолдер, например /uk/learn/indesign/web/add-pages → /uk/learn/indesign/web/__template__. В том же файле 43 значения lastmod делят между собой больше 10 URL; самая частая отметка — в пределах двух минут августовским вечером, что с головой выдает пакетную выгрузку.

— Anthropic: 537 URL, 21 под noindex (условия, приватность, политика использования), один 404, четыре редиректа.

— Manchester City: 1964 страницы; 12 адресов задублированы с разными lastmod. Из первых 100 URL 17 отдают HTTP-ошибки, а 16 редиректят — в основном это страницы бывших игроков (одни клеятся на страницу состава, другие отдают 404).

— GOV.UK: sitemap1.xml содержит 25 000 URL (лимит протокола — 50 000); 118 из первых 500 закрыты через noindex (почти всё — решения трибуналов с именами физлиц). Сам noindex явно задуман, баг кроется именно в добавлении этих урлов в сайтмап.

— X: Robots.txt ссылается на x.com/sitemap.xml, который вообще не отдает сайтмап.

— Semrush: индекс из 23 сайтмапов, ноль lastmod, новостной сайтмап отдает 404, один урл редиректит 301 на продуктовую, а два элемента сами являются индексами сайтмапов, что прямо запрещено документацией Search Console. Semrush продает аудиты как раз для этого.

Анализ делит косяки на два тира.

Отсутствие lastmod, даты без времени или куча страниц с одной датой — это небрежно, но допустимо.

Редиректы, ошибки, noindex и левые каноникалы — это тупо провал: сайтмап говорит "индексируй", а страница говорит "нет".

Директивы priority и changefreq безвредны — это просто лишние байты, так как Google их игнорирует.

Гипотеза автора о корне проблемы: сайтмап генерируется одной системой, а редиректы, каноникалы и noindex живут в другой.

Никто не проверяет их синхронизацию, а поскольку файл проходит валидацию, внутрь больше не лезут.

Обратный пример доказывает это: каждый проверенный автором сайтмап от Yoast SEO (плагина, который он создал) отрабатывает чисто, потому что этот же плагин прописывает каноникалы с noindex и сам вычищает всё, что запрещено к индексации.

Шаблонный каноникал невидим при чтении сырого XML — его выводит на чистую воду только прямой фетч каждого URL.

https://joost.blog/broken-sitemaps/

@MikeBlazerX

📈 "Пушки" — в @MikeBlazerPRO

Источник новости https://t.me/mikeblazerx/6771...