[ECCV 2022] Levenshtein OCR（已开源）

图1 LevOCR的解码过程。在视觉模型完成识别后，对视觉模型的输出或者空白的字符串迭代地执行删除、插入占位符和将占位符识别为码表中的字符这三个步骤，从而得到更准确的识别结果.

受前面这些工作的启发，作者提出了一个新的场景文本识别模型LevOCR。LevOCR是对ABINet[5]的改进，相比于ABINet，该方法有两点关键的不同之处。首先，LevOCR利用Vision-Language Transformer[6,7]作为Backbone，这使得视觉信息和语义信息可以更好地交互。其次，也是最关键的，相比于ABINet在每次迭代中重新预测整个字符序列，LevOCR采用了更加细粒度的方法，即对上一次迭代的输出结果预测字符级的修改（删除或者插入一些字符）。这既使得LevOCR可以在迭代的过程中比ABINet更灵活地调整字符序列的长度，也使得LevOCR有更高的可解释性，能够通过可视化方法来分析模型做出某个修改操作的依据。

图2 LevOCR整体框架图

LevOCR的整体结构如图2所示，主要由Visual Model、Textual Model、Transformer Blocks和3个Action Decoder构成。给定一张输入图片，先用Visual Model对其进行处理，得到视觉特征。将输入并行注意力解码器，得到初步的识别结果。

为了对视觉特征和文本特征进行融合，LevOCR一方面将输入Textual Model，得到文本特征，另一方面用两层卷积对视觉特征的高度进行下采样，得到。得到下采样后的视觉特征V和文本特征后，将它们在序列长度这个维度上拼接起来，然后输入到Transformer Blocks，得到融合后的特征。其中，为文本特征的长度，为下采样后的视觉特征的长度。

融合特征H的长度为，维度为D。其中，前N个特征与长度为N的输入文本一一对应。因此，将前个特征取出来，作为后续3个Action Decoder的输入。3个Action Decoder对应于删除、插入占位符和将占位符预测为码表中的字符这3个操作，这3个操作依次进行。首先，Deletion Decoder分别对个特征进行二分类，预测对应的字符是否应该删除。根据Deletion Decoder的预测结果，对初始字符序列执行相应的删除操作，并更新特征融合特征，即可得到Placeholder Insertion Decoder的输入。Placeholder Insertion Decoder的输入为前N-1个特征，对应N-1个字符间隔。Placeholder Insertion Decoder的预测结果是任意相邻的两个字符之间应该插入多少个字符（可以为0）。根据Placeholder Insertion Decoder的预测结果，对字符序列插入相应的占位符，并更新融合特征，得到Token Prediction Decoder的输入。Token Prediction Decoder对每个占位符进行分类，得到最终的结果。上述3个操作可以迭代多次，从而得到更准确的识别结果。

由于在LevOCR的解码过程中，需要根据3个Action Decoder的预测结果对字符序列执行相应的操作，而这个过程是不可导的，因此无法端到端地训练LevOCR。为了解决这个问题，本文利用模仿学习来训练LevOCR。具体实现为，通过对GT执行随机的删除或者插入操作，得到含有噪声的字符序列，然后通过动态规划得到最优的操作，最后把含有噪声的字符序列作为输入，最优的操作作为GT，去训练Textual Model、Transformer Blocks和3个Action Decoder，而Visual Model和并行注意力解码器仍然以传统的方式进行训练。

表1 LevOCR在不同初始序列和不同迭代次数下的准确率

表2 LevOCR在采用不同的Backbone时的准确率

表3 和SOTA方法的对比

图3可视化了LevOCR在预测某个动作时的最后一层Transformer Blocks的注意力热图，可以看出LevOCR能够准确地关注到对应的视觉特征和文本特征。同时，在图片清晰的时候模型更加关注视觉特征（第一行），而在图片模糊的时候模型更加关注文本特征（第二行）。

受其他领域启发，这篇文章提出一个新的场景文本识别模型LevOCR，利用Vision-Language Model来聚合视觉特征和文本特征，用Levenshtein Transformer的解码策略来进行Text Refinement或Text Generation，从而具有更高的识别准确率和更强的可解释性。

• 本文地址：
  https://link.springer.com/chapter/10.1007/978-3-031-19815-1_19

• 本文开源代码地址：
  https://github.com/wdp-007/Levenshtein-OCR (代码还没放出来)

• 论文推荐|[TMM 2022]基于切分的手写中文文本识别：一种无需切分标注的方法
  

• [ECCV 2022 oral]|Language Matters：面向场景文字检测和端到端识别的弱监督的视觉-语言预训练方法
  

• [ACM MM 2022] DiT: 基于Transformer的文档图像自监督预训练方法
  

• [IJCAI 2022] C3-STISR: 基于三重线索引导的场景文本图像超分辨率方法（有源码）
  

• [CVPR 2022]基于语法感知网络的手写数学公式识别（已开源）
  

• [ACM MM 2022] 解耦检测与识别：单阶段自依赖场景文本识别器
  

• [ECCV 2022] CoMER: 基于Transformer与覆盖注意力机制建模的手写数学公式识别（已开源）
  

• [ECCV 2022] 场景文字端到端识别中的全局到局部注意
  

• [ECCV2022] MGP-STR:一种基于视觉Transformer的多粒度文字识别方法(已开源)
  

• [IEEE TMM 2022] |手写汉字纠错的树结构分析网络
  

欢迎加入中国图象图形学学会!（附入会攻略）

扫码关注，获取最新OCR资讯

原文始发于微信公众号（CSIG文档图像分析与识别专委会）：[ECCV 2022] Levenshtein OCR（已开源）