#crawldaily Какие языки в Alexa top 1m После моего последнего...

#crawldaily Какие языки в Alexa top 1m

После моего последнего поста в фейсбуке об анализе всего интернета, ко мне обратился подписчик и предложил проанализировать топ алексы, на каких языках популярные сайты.

Топ Алексы - весьма известный и популярный csv файл в интернете, можно легко найти ссылку http://s3.amazonaws.com/alexa-static/top-1m.csv.zip но, увы, данные там старые. Alexa не обновляет этот файл, кому действительно нужен топ 1m можно купить всего 2,5k USD https://aws.amazon.com/alexa-top-sites/

Поэтому нам нужен другой 1m и первое, что попадается в гугле - Majectic: https://blog.majestic.com/development/alexa-top-1-million-sites-retired-heres-majestic-million/

Как определять язык сайта?

Существуют различные алгоритмы, самые точные будут с использованием словарей, а самые быстрые и простые - с помощью триграмм и некоторых ухищрений. Я взял готовую библиотеку и прикрутил к своему парсеру, который раньше использовал для обработки интернета.

Для упрощения, я использовал текст из title страницы и meta description.

Мое самое первое впечатление от этого списка сайтов - что за херня?

Больше 56 тыс сайтов не имеют подвязанного IP в домене (А запись)! Вы еще верите этим топ спискам?

Интересные моменты:

- почти 12 тыс доменов имеют тайтл который равен домену

- 194 тыс сайтов вообще не имеют ни тайтла, ни дескрипшена

Популярные языки:

- английский - 42%

- китайский (мандарин) - 8%

- французский - 7.7%

- русский (тут же болгарский, македонский и частично сербский) - 6.6%

- немецкий - 4%

- испанский - 3%

- португальский (тут же и португальский бразильский) - 2.4%

- итальянский - 1.62%

- японский - 1.5%

- польский - 1.3%

Ожидаемо английский самый популярный язык, количество китайских сайтов меня удивило, думал будет больше. К русскому языку примешались другие кириллический языки, т.к. сложно их выделить триграммами.

В список имеет “длинный хвост” с мало популярными азиатскими и африканскими языками, в сумме они имеют около 14% на 60 языков.

В целом, глядя на этот список, понятно в каких языках есть трафик, где можно делать проекты.

Источник новости https://t.me/jetoctopus/3...