1.OCR评测研究报告

  1月13日，中国人工智能产业发展联盟2019年第四次全体大会在北京召开，会上，腾讯云AI视觉团队组织撰写的《OCR产业应用及评测需求研究报告》获得与会专家的认可，并顺利通过立项。该报告是腾讯公司联合中国信息通信研究院、中国人工智能产业发展联盟共同成立的“智能产品安全与评测联合实验室”的首个研究成果。

  目前，业界尚未有统一的、标准化的OCR引擎评测方法，导致OCR应用市场鱼龙混杂，阻碍了OCR技术在不同领域的良性发展。

  基于腾讯优图提供的腾讯云OCR文字识别技术，以及在多个行业里的AI应用实践经验，腾讯云AI视觉团队启动了《OCR产业应用及评测需求研究报告》（以下简称“研究报告”）的编纂工作，分析OCR在应用中的评测场景、样本分类及评测的关键指标。

  按照不同的应用场景，《研究报告》将OCR引擎划分为“卡证类文字识别”、“票据单据识别”、“汽车相关识别”、“行业文档识别”和“通用文字识别”，基本覆盖主流的OCR应用场景。针对不同的OCR引擎，《研究报告》也建立了不同的标准评测样本集。

  对于评测的关键指标，《研究报告》将其划分为“效果指标”和“性能指标”两类。例如，针对身份证、行驶证等字段准确率要求高的场景，主要看字段级的效果指标，针对通用文字、行业文档等场景，主要看字符级的效果指标。

  与会专家认为，基于OCR应用领域的广泛性，无法用单一的标准和评测样本集来衡量OCR在不同领域的表现，因此，分场景建立权威的评测标准，将有助于更快速地推进OCR技术的产业化落地。

2.OCR文字识别领域常用的评估指标

对于两阶段的可以分开来看，分别是检测和识别阶段:

（1）检测阶段：先按照检测框和标注框的IOU评估，IOU大于某个阈值判断为检测准确。这里检测框和标注框不同于一般的通用目标检测框，是采用多边形进行表示。检测精度：正确的检测框个数在全部检测框的占比，主要是判断检测指标。检测召回率：正确的检测框个数在全部标注框的占比，主要是判断漏检的指标。

（2）识别阶段： 字符识别准确率，即正确识别的文本行占标注的文本行数量的比例，只有整行文本识别对才算正确识别。

（3）端到端统计： 端对端召回率：准确检测并正确识别文本行在全部标注文本行的占比； 端到端准确率：准确检测并正确识别文本行在 检测到的文本行数量 的占比；准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的的检测框中的文本与标注的文本相同。