🚴 Решил заопнесорсить свой небольшой контейнер с парой полезных...
🚴 Решил заопнесорсить свой небольшой контейнер с парой полезных в хозяйстве ручек:
1️⃣ Определение языка текста (с помощью fastText);
2️⃣ Разделение текста на предложения (не тупо по точкам, а нормальная токенизация из NLTK).
Эдакая вводная в NLP для дорвейщиков 👹 Когда-то запилил для себя, юзаю по сей день, но (к сожалению) не нашел сил туда напичкать чего-то ещё. Возможно, братья-змееусты зашлют PR с нужной фичей. Все тогда будут вдвойне рады и довольны 😜
✌️ Рассказывать как/зачем/почему нет смысла, тем кто парсит тексты – будет и так понятно. А остальное можно узнать в самом репе:
👉 https://github.com/lord-alfred/dnlp
PS: память не жрёт, работает даже на 1-м ядре, отвечает мгновенно 🌪
Источник новости https://t.me/lord_alfred/94...