🤕 После прихода BERT - гуглопоиск потерял часть хвостов из...

🤕 После прихода BERT - гуглопоиск потерял часть хвостов из НЧ-запросов, но это не главная беда. Ещё одна задача, с которой успешно справляется данная нейронная сеть - это предсказание логичности текста. То есть он с высокой точностью может определить на сколько у вас согласованы предложения в тексте между собой, а не просто нахерачена мешанина сниппетов или "марковка". (Сразу сделаю тут disclaimer: значимость текста в разных нишах - различается)

☠️ Многие уже зареклись и начали уходить из дорвеев, потому что всё и идёт к тому, что Google с его TPU v3 Pod (в которой больше 100 петафлопс мощности и 32ТБ(!) оперативной памяти, а таких подов - целые фермы) тренирует какие-то дикие решения на основе ответов асессоров и рано или поздно он выкатит это в виде Core Update. Погуглите ради интереса какая мощность у вашего ПК/сервера, которым вы генерите доры и сравните во сколько раз ресурсы гугла превосходят ваши...

🎖 Думаю, в этом нет ничего страшного и оно скорее закономерно (уже десять лет твердят "в дорах денег нет"), но ведь для кого-то оно так и есть. И логично, что с каждым годом уровень входа повышается (хотя хватает и "везунчиков"), но прогнозировать масштабируемость тех или иных действий крайне сложно уже несколько лет подряд.

🏊 Поэтому те, кто ещё на плаву и пытаются бороться - ищут всё новые решения, которые помогут взобраться на вершины Google-Олимпа. И я не исключение. В связи с этим мой рисёч сейчас нацелен на готовый парсер, который сможет с очень большой вероятностью извлекать контент из html-страниц. Вроде логично, что это задача не решается с высокой точностью, но приемлимые результаты должны быть. И вот блуждая по просторам наткнулся на прекрасный доклад Михаила Коробова (автора pymorphy2, разработчика из ScrapingHub, автора множества полезных OpenSource-решений). Те, кто со мной на одной волне - оценят междустрочные идеи, которые там рассказаны:

https://www.youtube.com/watch?v=l11caoD_MFc

Источник новости https://t.me/lord_alfred/43...