🚴 Решил заопнесорсить свой небольшой контейнер с парой полезных в хозяйстве ручек: 1️⃣ Определение языка текста...

19

🚴 Решил заопнесорсить свой небольшой контейнер с парой полезных в хозяйстве ручек:

1️⃣ Определение языка текста (с помощью fastText);

2️⃣ Разделение текста на предложения (не тупо по точкам, а нормальная токенизация из NLTK).

Эдакая вводная в NLP для дорвейщиков 👹 Когда-то запилил для себя, юзаю по сей день, но (к сожалению) не нашел сил туда напичкать чего-то ещё. Возможно, братья-змееусты зашлют PR с нужной фичей. Все тогда будут вдвойне рады и довольны 😜

✌️ Рассказывать как/зачем/почему нет смысла, тем кто парсит тексты – будет и так понятно. А остальное можно узнать в самом репе:

👉 https://github.com/lord-alfred/dnlp

PS: память не жрёт, работает даже на 1-м ядре, отвечает мгновенно 🌪

Источник новости https://t.me/lord_alfred/94...

<< Вернуться на канал

06.04.2021 18:55

❓Вопрос 1989 Что лучше с точки зрения SEO для Google: одна и та же картинка для всех товаров категории или вообще без картинок? И уникальность изобра...

❓Вопрос 1981 Верно ли утверждение, что форумные ссылки по большей части должны быть безанкорными, также в небольшом проценте случаев можно делать анк...

❓Вопрос 1975 В очередной раз сталкиваюсь с проблемой индексации текстов, что спрятаны под кнопкой "читать далее". Находил множество примеро...

❓Вопрос 1939 Насколько важны "критичные" ошибки в Вебмастере с посылом "При обращении к страницам сайта среднее время ответа сервера п...

❓Вопрос 1824 Какие санкции от ПС могут быть, если на сайт ведёт много битых ссылок? Настроили так, что все, кто переходит по такой ссылке, попадают н...

🚴 Решил заопнесорсить свой небольшой контейнер с парой...