基于深度学习的模板化手写表单信息提取方法

来源：计算机技术与发展杂志2024年第10期北京时间：

作者：董前前;陈亮;王鑫鑫

摘要：手写纸质表单作为制造企业各部门之间信息传递的重要数据载体,其关键信息的提取对于企业生产、管理和决策具有重要意义。 然而,当前手写表单信息提取方案在复杂文本布局中很难准确快速地抽取关键信息。 为解决这一问题,提出了一种两阶段的模板化手写表单信息提取方法,仅需一张图片即可完成模板搭建,聚焦于用户关心的信息,并规避了传统关系抽取任务在复杂表格中潜在的逻辑错误。 首先,对于一个特定种类的表格图片,直接在图像上标注希望识别的区域,并为这些区域分配对应的 key 值。 然后,采用高分辨率网络提高对小文本的检测精确率,并提出多分辨率均匀分割的混洗的策略使得检测模型在性能和参数都取得良好表现。 同时引入时域卷积网络和自注意力机制使得识别模型能够较好地应对手写字体由于书写速度和书写工具的原因造成的字迹模糊、不清晰和笔画缺失等情况。 识别完成后,系统将识别结果与预设的 key 值进行绑定,形成结构化的输出。 实验结果表明,与典型 ResNet50 模型相比,在模型参数几乎相等的情况下,小文本检测准确性提升15. 8 百分点。 文本识别任务中,模型在 CASIA-HWDB2. 0-2. 2 数据集上的字符准精确率可达 99. 30% 。 在文本框未完全涵盖整个文本行的情况下,字符准精确率仅下降 0. 55 百分点,表明文本识别模型具有较好的鲁棒性。

关键词：信息提取;手写表单;基于模板;手写文字识别;文本行检测