lexical-analysis/word-segment.md · 鲁珀特之泪/luge-ai

分词

数据集简介：

SIGHAN 2005数据集国际中文自动分词评测（简称SIGHAN评测）整合多个机构的分词数据集构成。该数据集由中国微软研究所、北京大学、香港城市大学、台湾中央研究院联合发布，用以进行中文分词模型的训练与评测。其中 AS 和 CityU 为繁体中文数据集，PKU 和 MSR 为简体中文数据集。

数据集详情：

名称	规模	创建日期	单位	论文	下载	评测
MSR	2368391词，4050469字	2005年	微软亚洲研究院	链接	SIGHAN2005	icwb2 result summary
PKU	1109947词，1826448字	2005年	北京大学	链接	SIGHAN2005	icwb2 result summary
AS	5449698词，8368050字	2005年	台湾中央研究院	链接	SIGHAN2005	icwb2 result summary
CityU	1455629词，2403355字	2005年	香港城市大学	链接	SIGHAN2005	icwb2 result summary

基于该数据集发表的论文：
- Chen X , Xipeng Qiu∗, Zhu C , et al. Long Short-Term Memory Neural Networks for Chinese Word Segmentation[C]// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. 2015. Cai D , Zhao H . Neural Word Segmentation Learning for Chinese[J]. 2016.
- Chen X , Shi Z , Qiu X , et al. Adversarial Multi-Criteria Learning for Chinese Word Segmentation[J]. 2017.
- Jie Yang, Yue Zhang, Fei Dong. Neural Word Segmentation with Rich Pretraining[C]// The 55th Annual Meeting of the Association for Computational Linguistics (ACL). 2017.
- Yang, Jie, Yue Zhang, and Shuailong Liang. "Subword encoding in lattice lstm for chinese word segmentation." arXiv preprint arXiv:1810.12594 (2018).
- Ma J , Ganchev K , Weiss D . State-of-the-art Chinese Word Segmentation with Bi-LSTMs[J]. 2018.
- Huang W , Cheng X , Chen K , et al. Toward Fast and Accurate Neural Chinese Word Segmentation with Multi-Criteria Learning[J]. 2019.

数据集简介：

微博分词数据集为NLPCC2016使用的数据集，该数据集是复旦大学根据新浪微博的数据标注生成。相对于其他开源数据集，该数据集的语料更为口语化，同时覆盖经济，运动，环境等多种主题的语料。除了训练数据以外，该数据集还提供了相关的未标注语料，以供结合无监督方法的模型使用。
数据集详情：

名称规模创建日期作者论文下载评测

Weibo 30779个句子，652740词，1077854字 2016年 Xipeng Qiu 链接链接 N/A
基于该数据集发表的论文：
- Xia, Qingrong, et al. "Word segmentation on micro-blog texts with external lexicon and heterogeneous data." Natural Language Understanding and Intelligent Applications. Springer, Cham, 2016. 711-721.
- Jie Yang, Yue Zhang, Fei Dong. Neural Word Segmentation with Rich Pretraining[C]// The 55th Annual Meeting of the Association for Computational Linguistics (ACL). 2017.
- Yang, Jie, Yue Zhang, and Shuailong Liang. "Subword encoding in lattice lstm for chinese word segmentation." arXiv preprint arXiv:1810.12594 (2018).
- Xing, Junjie, Kenny Zhu, and Shaodian Zhang. "Adaptive multi-task transfer learning for Chinese word segmentation in medical text." Proceedings of the 27th International Conference on Computational Linguistics. 2018.
- Luo, Ruixuan, et al. "PKUSEG: A Toolkit for Multi-Domain Chinese Word Segmentation." arXiv preprint arXiv:1906.11455 (2019).

名称	规模	创建日期	作者	论文	下载	评测
Weibo	30779个句子，652740词，1077854字	2016年	Xipeng Qiu	链接	链接	N/A

数据集简介：

由LDC构建的中文树库。CTBX中X表示版本，随着版本数据规模扩大，以及部分标准修正。CTB1标注数据来自新华日报；CTB2对CTB1进行部分纠正以及进行发布；CTB4标注数据来自新华日报、香港政府新闻处发布的新闻、以及台湾Sinorama magazine；CTB5标注数据来源同CTB4，对规模进行扩大；CTB6增加了来自广播节目的标注数据；CTB7增加了广播新闻、微博数据、以及广播电视谈话类节目数据；CTB8标注数据来源新闻数据、新闻杂志、广播新闻、广播谈话节目、微博、以及网页数据；CTB9标注数据来自新闻数据、新闻杂志、广播新闻、广播谈话节目、微博、论坛、聊天对话、电话数据。

数据集详情：

基于该数据集发表的相关论文：
- Jie Yang, Yue Zhang, Fei Dong. Neural Word Segmentation with Rich Pretraining[C]// The 55th Annual Meeting of the Association for Computational Linguistics (ACL). 2017.
- Yang, Jie, Yue Zhang, and Shuailong Liang. "Subword encoding in lattice lstm for chinese word segmentation." arXiv preprint arXiv:1810.12594 (2018).
- Xing, Junjie, Kenny Zhu, and Shaodian Zhang. "Adaptive multi-task transfer learning for Chinese word segmentation in medical text." Proceedings of the 27th International Conference on Computational Linguistics. 2018.
- Ma J , Ganchev K , Weiss D . State-of-the-art Chinese Word Segmentation with Bi-LSTMs[J]. 2018.
- Huang W , Cheng X , Chen K , et al. Toward Fast and Accurate Neural Chinese Word Segmentation with Multi-Criteria Learning[J]. 2019.
- Diao, Shizhe, et al. "ZEN: Pre-training Chinese Text Encoder Enhanced by N-gram Representations." arXiv preprint arXiv:1911.00720 (2019).