Пробежался по справке Яндекс Вебмастера ❤️

Пробежался по справке Яндекс Вебмастера ❤️

Выписал для вас несколько полезных моментов 👇

1. Если страницы сайта доступны по разным адресам, но имеют одинаковое содержимое, робот Яндекса может посчитать их дублями и объединить в группу дублей.

Дублями признаются страницы в рамках одного сайта.

Например, страницы на региональных поддоменах с одинаковым содержимым не считаются дублями.

2. Атрибут nofollow сообщает боту не переходить по ссылкам на странице. Робот не перейдет по ссылкам при обходе сайта, но может узнать о них из других источников. Например, на других страницах или сайтах.

3. Страницы больше 10 МБ не индексируются.

4. Чтобы страница не выпала из поиска, настройте сервер так, чтобы он отвечал кодом 429.

Робот будет обращаться к странице и проверять код ответа.

Это может быть полезно при высокой нагрузке на ваш сервер, или из-за неполадок с CMS из-за которых страница сайта выглядит некорректно. После исправления измените ответ сервера.

5. Большое количество заданных параметров в URL и повторяющихся вложенных директорий, а также слишком большая длина URL может привести к ухудшению индексирования сайта.

Максимальная длина URL — 1024 символов.

6. Робот Яндекса не индексирует адреса страниц с якорем, кроме AJAX-страниц (с символом #!). Например, страница http://example.com/page/#title не попадет в базу робота

Он проиндексирует страницу http://example.com/page/ (адрес до символа #).

7. Тег noindex не влияет на сохраненную копию страницы. Сохраненная копия — это копия исходной страницы, она не показывает, что было проиндексировано, а что нет. Используя тег noindex, вы можете быть уверены, что в базу робота и поиск этот текст не попадет.

8. Размер файла robots.txt не должен превышать 500 КБ.

9. Использование кириллицы запрещено в файле robots.txt и HTTP-заголовках сервера.

10. Изменение файла robots.txt будет учтено по мере обновления поисковых данных, в течение 2-14 дней.

11. При выборе директивы для страниц, которые не должны участвовать в поиске, если их адреса содержат GET-параметры, лучше использовать директиву Clean-param, а не Disallow. При использовании Disallow может не получиться выявить дублирование адреса ссылки без параметра и передать некоторые показатели запрещенных страниц.

12. Роботы Яндекса используют автономную сеть: AS13238 и AS208722.

13. Если вы хотите оградиться от мошеннических роботов, представляющихся роботами Яндекса, вы можете использовать фильтрацию, основанную на обратных DNS запросах (об этом я писал в посте про отслеживание реальных ботов ПС).

14. Метатеги, которые учитывает Яндекс: Description, keywords, robots, viewport, Content-Type, refresh.

15. У Яндекса нет квот на количество страниц, попадающих в индекс. Любое количество страниц, которые алгоритм признает полезными пользователям, будут проиндексированы.

16. Посмотреть сохраненную копию можно только за дату последней индексации роботом.

17. Если на странице атрибут rel="canonical" указывает на эту же страницу, робот посчитает ее канонической.

18. При выполнении JavaScript-кода робот может создавать дополнительную нагрузку на ваш сервер. Запретите рендеринг, если на сайте реализован SSR (Server-Side Rendering) или пререндеринг.

19. Используйте инструменты CMS вашего сайта для автоматического составления метаописаний. Например, для интернет-магазина может быть сложно создать уникальные description вручную, но можно использовать данные из стандартных полей базы данных у свойств товара: размер, вес, доступность и т. д.

20. Если вы не хотите, чтобы информация с вашего сайта попадала в ответы Нейро, добавьте для YandexAdditional или YandexAdditionalBot запрет в файле robots.txt.

Рекомендую хотя бы раз в год заглядывать в справку Яндекс Вебмастера, чтобы освежить то, что уже забылось 🫥

Сделать такую же выжимку по Справке Гугла? 🖥

#яндекс #индексация #ссылки #техничка

Источник новости https://t.me/ulianoov/557...