命名实体识别(NER)评测

阿里云双11来了!从本博客参与阿里云,服务器最低只要86元/年!

简介

    命名实体识别评测方式分为两种,一是通用的基于token标签进行直接评测,二是考虑实体边界+实体类型的评测。

标签评测

不考虑实体类型与实体边界,直接进行评测。

实体边界+实体类型

A、完全匹配

1、实体边界与实体类型都匹配正确;

2、预测出的实体在测试集中不存在;

3、测试集中的实体,没有被预测出来;

B、部分匹配(重叠)

4、实体边界正确,类型不正确;

5、边界错误(边界重叠);

6、边界错误,实体类型也错误

评估指标

1、CoNLL-2003: Computational Natural Language Learning

– 仅考虑1、2、3方案;

– 完全匹配:精度、召回率、F1

– 参考 Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition:https://www.aclweb.org/anthology/W03-0419/

2、Automatic Content Extraction (ACE)

– 包括加权方案

– 参考 Automatic Content Extraction 2008 Evaluation Plan (ACE08):

https://pubweb.eng.utah.edu/~cs6961/papers/ACE-2008-description.pdf

– 参考 The Automatic Content Extraction (ACE) Program: Tasks, Data, and Evaluation:

https://pdfs.semanticscholar.org/0617/dd6924df7a3491c299772b70e90507b195dc.pdf

3、Message Understanding Conference (MUC)

– 同事考虑实体边界和实体类型

– Correct (COR): 匹配成功;

– Incorrect(INC):匹配失败;

– Partial(PAR):预测的实体边界与测试集重叠,但不完全相同;

– Missing(MIS):测试集实体边界没有被预测识别出来;

– Spurius(SPU):预测出的实体边界在测试集中不存在;

– 参考:MUC-5 EVALUATION METRICS:https://www.aclweb.org/anthology/M93-1007/

– Python参考代码:https://github.com/jantrienes/nereval

4、SemEval‘13

– 严格(strict):完全匹配,需要实体边界与实体类型都正确;

– 精确边界匹配(exact):无论实体边界如何,预测的实体边界都是正确的;

– 部分边界匹配(partial):忽略实体边界,有实体边界重叠即可;

– 类型匹配:预测的实体与测试集实体需要一定的重叠;

示例:


图-实体预测结果与测试集匹配情况

   1、测试集标签个数统计(golden):

Possible(POS)=TP+FN=COR+INC+PAR+MIS

2、预测结果标签个数统计(predict):

Actual(ACT)=TP+FP=COR+INC+PAR+SPU

3、精确匹配(exact):

Precision=\frac{TP}{TP+FP} =\frac{COR}{ACT}

Recall=\frac{TP}{TP+FN} =\frac{COR}{POS}

3、部分匹配(partial):

Precision=\frac{TP}{TP+FP} =\frac{COR+0.5\times PAR}{ACT}

Recall=\frac{TP}{TP+FN} =\frac{COR+0.5\times PAR}{POS}

4、F1:

F_{1} =\frac{2\times P\times R }{P+R}

参考资料:

1、实体边界+实体类型:

https://ychai.uk/notes/2018/11/21/NLP/NER/Evaluation-metrics-of-Name-Entity-Recognition-systems/

2、scikit-learn标签评测(多分类评测方法):

https://devdocs.io/scikit_learn/modules/generated/sklearn.metrics.classification_report

3、conlleval参考代码:

https://github.com/sighsmile/conlleval

4、NER MUC evaluation参考代码:

https://github.com/cyk1337/NER-evaluation/

    

https://www.jianshu.com/p/de73aff26e5f

Python量化投资网携手4326手游为资深游戏玩家推荐:《最终幻想:勇气启示录下载

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论