代码拉取完成，页面将自动刷新
同步操作将从 SOLsim/SOLSim 强制同步，此操作会覆盖自 Fork 仓库以来所做的任何修改，且无法恢复！！！
确定后同步将在后台操作，完成时将刷新页面，请耐心等待。
本项目是基于GloVe（求取Embedding）和LSTM（训练生成器）制作的SOL对话模拟器，模拟SOL在群里的对话方式。
如果有机会的话，后续会制作制作成QQ插件。
https://github.com/codemayq/chinese_chatbot_corpus
| 名称 | 数量 | SOL的奇妙手工打分 |
|---|---|---|
| chatterbot | 560 | 8（翻译有问题，但是内容都是对上的） |
| douban | 3.520M | 2（牛头不对马嘴） |
| ptt | 0.4M | 8（八卦太多了，好吧毕竟是八卦语料库，不过好像没怎么参与训练？） |
| qingyun | 0.1M | 5（部分内容无关） |
| subtitle | 2.74M | 8（语言通顺性还行，不过不是对话） |
| tieba | 2.32M | 6（语言通顺性还行，但是足球实在太多了） |
| 4.43M | 8（其实这语料库还行的） | |
| xiaohuangji | 0.45M | 2（黄色内容过多） |
https://github.com/soumith/ganhacks
| 阶段 | 进度 |
|---|---|
| 知识储备 | 100% |
| Embedding数据集 | 100% |
| Embedding训练 | 100% |
| 数据清洗 | 100% |
| LSTM训练 | 100% |
| LSTM + Attention训练 | 100% |
| GAN + LSTM训练 | 60% |
| GAN + LSTM + MCTS训练 | 0% |
| 迁移数据集 | 0% |
| 迁移训练 | 0% |
对应代码无后缀。
效果较差。
对应代码后缀v5。
引入Attention。
对应代码后缀v6。
不再使用预训练Embedding，而是集成在模型中训练。可以注意到收敛loss明显降低（2.8->0.8），开始输出通顺语句，但语义杂乱、句式单一。
v9训练集不填充，支持变长训练集，但是因为只能逐行运算，训练速度大幅降低。目前看来v9还是比v8强不少的，没有填充干扰会小很多。
目前，仅使用较清洁的chatterbot和青云语料库可以达到很低的loss，模型也能输出通顺的句子，但是内容和句式都比较单一。
在线资料表明，生成式模型确实容易“陷入万能输出”，即无论输入什么都返回相同的内容。后续版本会考虑解决此问题的方案。
对于Naive Seq2Seq（with Attention）的尝试到上一个版本为止。本版本开始引入GAN。
根据原理推测，GAN的判别器“理论上”可以快速排除掉之前版本的万能输出。
实验表明Discriminator非常难以设计。使用LSTM对全句打分和对单字打分效果都不甚理想。
一种可以尝试的思路是，保持Generator无填充的同时，对Discriminator填充至固定长度，从而可以使用拉平等方法。
实验证明以上思路并不可行。生成器会迅速趋于输出单字或连续重复的字，换言之模型忽略了几乎全部的信息而成为常函数。
由于尝试次数过多，v10版本号作为失败品被放弃。
v10的问题出在Discriminator（即ScrModel）设计不合理，导致无法对Generator的训练起到足够的指导作用。
在v11中，我们参考现有设计方案，总结出两种可行的思路，分别命名为v11a和v11b。
相比之前的版本，v11A比较复杂，而v11B非常复杂，因此需要较长的时间更新（v9，你又可以活一阵子了）。
v11A不再使用LSTM作为评分器。为了能够更好地提取文本中前段的信息（即便是LSTM，hn、cn依然包含更多靠后的信息），采用不同大小的卷积核实现1D-CNN作为评分器。
同时，加入batch中的模型分布与真实分布之间的JS散度作为训练loss的一项。--由于单纯用JS散度无法习得输入输出之间的关系，因此只用于增加语句通顺性。--
其实也是可以习得输入输出的关系，只需要把输入也包含进去，然后做一个特征提取（代码中为Scr.dense1）。
**添加了额外的训练数据：有噪声的正样本（还是正样本）和纯随机的样本（作为负样本）。**可以用来解决生成器开始生成无意义字符的问题；由于输入是Embedding，甚至可以解决模型“纠结”（即对于多个字符输出相同的概率难以选择）的问题。
GAN中Gen Loss缓慢递增（不是快速暴涨）是正常的，因为生成任务比判定任务困难很多，判定器应该较快收敛。模型需要更长时间的训练。
如果后期Gen Loss仍然不下降，则增加生成模型复杂度；很有可能Generator已经收敛了无法训练。
v11B使用MCTS优化下一个生成的文字，以Discriminator的输出作为估价函数，进行强化学习。由于MCTS基于采样，训练过程资源开销可能过于高昂，因此作为保留计划（Plan B）。
v11A的表现可以接受，但是存在一些问题。
现在Discriminator给我觉得说的比较好的句子打0分，给有些不通顺的句子打1分。
我在想这是不是因为Generator已经和真实值很相近了，但是Discriminator在训练的时候，还是把Generator标注成负样本，于是它就转而向另一个错误方向训练去了。
解决方案也有，就是训练三个不同的Discriminator，一个管输出和输入的相关性，一个管输出的通顺性，还有一个管人格特征。
还有一点，就是再加入一些各种类型的负样本，并且加入软Label。
这就是v12了。
当然还有备用方案，就是蒙特卡罗法，也就是v11B。
这时，新的问题出现了。
评分器的表现远远超出了生成器，导致生成器无法收敛。
考虑提升生成器的参数数量，ReqModel改为双向模型，RessModel改为两个独立的LSTM+Attention模型。
此处可能存在不合适展示的内容，页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容，可点击提交进行申诉，我们将尽快为您处理。
