加入 Gitee

与超过 1200万开发者一起发现、参与优秀开源项目，私有仓库也完全免费：）

该仓库未声明开源许可证文件（LICENSE），使用请关注具体项目描述及其代码上游依赖。

克隆/下载

行业特征词挖掘 5522180

common/word2vec

Loading...

README

new_words_find

新词发现／未登录词识别：

采用凝固度和左右信息熵规则来过滤，识别出新词。

执行python oov.py进行未登录词识别

同义词挖掘：

分词过滤后，简单采用word2vec进行挖掘，取topk人工审核后作为同义词。

执行train.sh挖掘同义词

new-word

C 等 4 种语言

取消

暂无发行版

1

https://gitee.com/sheeplu/kenlm.git

git@gitee.com:sheeplu/kenlm.git

sheeplu

kenlm

kenlm

master