基于CRF的命名实体识别方法

一、综述

命名实体识别(Named Entity Recognition，简称NER)，指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。

作用：命名实体识别是信息提取、问答系统、句法分析、机器翻译、面向Semantic Web的元数据标注等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要地位。一般来说，命名实体识别的任务就是识别出待处理文本中三大类（实体类、时间类和数字类）、七小类（人名、机构名、地名、时间、日期、货币和百分比）命名实体。

过程：

通常包括两部分： （1）实体边界识别； （2） 确定实体类别（人名、地名、机构名或其他）。英语中的命名实体具有比较明显的形式标志（即实体中的每个词的第一个字母要大写），所以实体边界识别相对容易，任务的重点是确定实体的类别。和英语相比，汉语命名实体识别任务更加复杂，而且相对于实体类别标注子任务，实体边界的识别更加困难。

难点： （1）汉语文本没有类似英文文本中空格之类的显式标示词的边界标示符，命名实体识别的第一步就是确定词的边界，即分词； （2）汉语分词和命名实体识别互相影响； （3）除了英语中定义的实体，外国人名译名和地名译名是存在于汉语中的两类特殊实体类型； （4）现代汉语文本，尤其是网络汉语文本，常出现中英文交替使用，这时汉语命名实体识别的任务还包括识别其中的英文命名实体； （5）不同的命名实体具有不同的内部特征，不可能用一个统一的模型来刻画所有的实体内部特征。

CRF发展方向

• 机器学习阶段：CRF
• 深度学习阶段：BiLSTM-CRF、BiLSTM-CNN-CRF
• Attention阶段：Transformer-CRF、BERT-BiLSTM-CRF

二、CRF实现命名实体识别

1、相关概念：

• 随机场：由若干个位置组成的整体，当给每一个位置中按照某种分布随机赋予一个值之后，其全体就叫做随机场
• 马尔科夫随机场：马尔科夫随机场是随机场的特例，它及假设随机场中某个位置的赋值仅仅与和它相邻的位置的赋值有关，与其不相邻的位置的值无关
• 条件随机场：CRF是马尔科夫随机场的特例，它假设马尔科夫随机场中只有X和Y两种变量，且X一般是给定的输入变量，而Y是我们需要输出的变量（在给定X的条件下）。这样一个马尔科夫随机长就形成了CRF

2、定义

（1）条件随机场

（2）线性条件随机场

3、线性条件随件场参数化

4、线性条件随件场参数化的简化

5、线性条件随机场的矩阵形式

6、条件随机场的预测问题

给定：条件随机场P(Y|X) 和 输入观测序列 x，求条件概率最大的输出序列(标注序列) y，即对观测序列进行标注

解算方法：维特比算法

7、CRF++模板生成

# Unigram
U00:%x[-2,0]
U01:%x[-1,0]
U02:%x[0,0]
U03:%x[1,0]
U04:%x[2,0]
U05:%x[-2,0]/%x[-1,0]/%x[0,0]
U06:%x[-1,0]/%x[0,0]/%x[1,0]
U07:%x[0,0]/%x[1,0]/%x[2,0]
U08:%x[-1,0]/%x[0,0]
U09:%x[0,0]/%x[1,0]

if (x1=='民'&&x2=='网'&&x3=='报'&y2=='E') return 1 else 0;

三、BiLSTM+CRF实现命名实体识别

四、Bert+CRF实现命名实体识别