ccks2020中文短文本实体链接任务

给定短文本以及其中包含实体,需要指出该实体的提及类型,并且如果在知识库中已经存在,还需给出其在知识库中的id.

该任务可拆分为两个任务:

1)实体提及分类

使用文本分类模型处理,实体作为第一个句子,短文本作为第二个句子,提及类型作为标签.

2)实体链接

使用文本分类模型处理,实体拼接短文本作为第一个句子,知识库中对应的说明文本作为第二个句子,'0','1'作为标签表示链接正确或错误.

下载预训练模型

下载chinese-bert_chinese_wwm_pytorch模型，并将其解压到../../models/

data目录下文件改名（否则transformers无法正确加载模型）：

bert_config.json 改名为 config.json

chinese_wwm_pytorch.bin 改名为 pytorch_model.bin

data目录下文件移动至上一级目录

代码执行顺序:

• 按需修改duel.py中的路径变量

• 数据预处理 data_preprocess.py

• 模型训练 main.py