1 Star 2 Fork 1

左令君 / translate_EnZh_paddle

加入 Gitee
与超过 800 万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README.md

paddlepaddle中英文机器翻译

(每句注释实现) BiGRU+Bahdanau attention+beam search的中英文机器翻译

意义:通过这个比官网更详细的机器翻译案例,能完整的窥视机器翻译的所有细节(官网 直接加载了数据(英德翻译数据),隐藏了数据细节,初学者很难真正通过官网案例学会并应用到英/汉翻译、文本摘要等应用)

  • 1.cmn.csv:简单的中英翻译数据,相当于从官网的英德翻译数据中脱离出来,用自己需求的数据进行训练

比如:换成中文-火星文就是火星文翻译器啦、换成文章-文章摘要就是文章摘要器啦、换成 换成文章-关键词就是关键词提取器啦、

  • 2.实现把cmn.csv提取两个词汇-索引表,写入文件:en_vocabe.txt、zh_vocabe.txt
  • 3.data_generate.py:输入cmn.csv、en_vocabe.txt、zh_vocabe.txt,输出训练数据data.csv,中文分词部分仅用jieba实现

data.csv:

英文单词ID序列;中文单词ID序列;中文单词一一对应的下一个单词ID序列

<s> I love you <e>;<s> 我 爱 你;我 爱 你 <e>

0 6694 8 4 1;0 10882 2750 93;10882 2750 93 1

  • train_model.py模型训练、保存
  • test_model.py模型加载、准备预测数据、进行预测、打印预测结果

效果:

I'm so happy
 中文:
 我 很 高兴 。
 我 很 抱歉 。
 我 很 高興 。
 我 很 高兴 , 但 我 感到 很 惊讶 。

仓库评论 ( 0 )

你可以在登录后,发表评论

简介

paddlepaddle中英文机器翻译 展开 收起
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
1
https://gitee.com/ling_jun_zuo/translate_EnZh_paddle.git
git@gitee.com:ling_jun_zuo/translate_EnZh_paddle.git
ling_jun_zuo
translate_EnZh_paddle
translate_EnZh_paddle
master

搜索帮助

挂件 关闭按钮