MSDS:一个用于笔迹认证的大规模中文签名和令牌数字串数据集

AI 2年前 (2022) admin
562 0 0
MSDS:一个用于笔迹认证的大规模中文签名和令牌数字串数据集
本文简要介绍NeurIPS 2022录用为Spotlight的论文”MSDS: A Large-Scale Chinese Signature and Token Digit String Dataset for Handwriting Verification”。该论文提出了一个针对笔迹身份认证的大规模中文签名和令牌数字串数据集MSDS,其中包含两个子集:MSDS-ChS子集,由中文签名组成,NSDS-TDS子集,由令牌数字串组成。MSDS-ChS是当前最大的中文签名数据集;MSDS-TDS探索了一种新的生物识别笔迹媒介:令牌数字串。实验证明令牌数字串的等错误率比中文签名更低,说明令牌数字串有潜力在高精度的联机身份认证场景下代替中文签名。

一、研究背景



手写笔迹认证是一种广泛使用的身份认证方式。根据笔迹数据的获取方式,可以将笔迹分为联机和脱机模态。以往研究中普遍使用的笔迹是手写签名,近年来关于联机签名认证的研究飞速发展。但是,当前的研究使用的签名数据集大部分都不是中文的,而是英文、德文、阿拉伯文等。目前最大的西文签名数据集DeepSignDB [1]拥有来自1526个书写者的约70000个签名样本,但公开的联机中文签名数据集规模非常小(最多只有50个用户 [2]),远小于西文数据集。目前中文签名认证的发展严重受限于数据集的大小,仍有较大的发展空间。

与手写签名类似,手写数字也具有丰富的手写特征。但是当前用于身份认证的手写数字数据集基本只采集了单个数字,没有考虑连续数字串,因此无法利用连续数字串中的连笔信息;极少数研究会考虑拼接单个数字来合成数字串,但是这种不自然的拼接无法代替自然手写的数字串,会导致手写特征的丢失。人们在日常生活中经常手写数字串,比如手机号码、银行卡号等等,它们具有唯一性和独特性。作者将这些数字串定义为令牌数字串Token Digit String (TDS)。令牌数字串具有丰富而独特的手写特征,有很大的潜力作为一种新的手写笔迹认证媒介。由于当前没有令牌数字串数据,需要一个新的数据集来进行深入探索。

为了解决中文签名数据集数据量小的问题,同时探索令牌数字串的效果,作者提出了MSDS数据集,其中包含两个子集:MSDS-ChS和MSDS-TDS。MSDS-ChS由手写中文签名组成,MSDS-TDS由手写令牌数字串组成,两者均包含来自相同的402个书写者的各20个真实/熟练伪造样本。该数据集有以下特点:(1)MSDS-ChS是当前最大的公开联机中文签名数据集,其大小至少是之前公开数据集的八倍;(2)MSDS-TDS是第一个大规模令牌数字串数据集,目的在于探索一种新的、更有效的生物识别技术以用于身份认证;(3)MSDS考虑了相同用户的笔迹的跨时段变化性。每个用户的数据都在两个分隔的时段进行采集,两次采集的时间点必须大于21天。这样的考虑模拟了现实世界中的笔迹认证场景,可以对数据集的有效性做出更全面的评估。

二、 MSDS数据集



MSDS数据集的两个子集以相同的方式建立。作者使用了两种Android平板作为数据采集设备,并开发了一个专用的Android App,界面如图1所示。用户在界面的书写区域根据提示进行书写。App会自动记录动态笔迹的x、y坐标,压力和时间戳并保存为时间序列,并将实时渲染出的笔迹保存为静态笔迹图(.png图片)。作者提供了联机模态的时间序列和脱机模态的渲染图片数据。

MSDS:一个用于笔迹认证的大规模中文签名和令牌数字串数据集图1 数据采集App界面

在采集书写者的笔迹数据之前,我们与每一位书写者签署了一份版权协议,签署协议表明书写者同意数据采集,并授权给我们使用其笔迹进行非商业性学术研究。书写者来自全国各地,其中60.2%是男性,39.8%是女性。

总共有402位书写者在两个独立的阶段进行数据采集,两个阶段的时间间隔至少为21天。在每个采集阶段,每个书写者根据以下流程进行数据采集:10个真实签名→10个真实手机号→10个伪造签名→10个伪造手机号。书写者书写的手机号码可以不是当前使用的手机号,只要对该号码十分熟悉即可。在进行伪造时,书写者随机模仿另一个人的笔迹,通过观察书写时的录屏和反复练习达到良好的伪造质量,其中模仿者和被模仿者具有不重复的一一对应关系。两轮数据采集结束后,每个书写者都贡献了20个真实/伪造的签名和手机号码。作者在提供数据时,将中文签名和手机号的书写者顺序分别打乱,因此两个子集的书写者顺序不对应。

作者在表1中总结了MSDS的细节,并在表2和表3中分别将MSDS数据集与现有的中文签名数据集和数字数据集进行比较。

表1 对MSDS数据集的总结
MSDS:一个用于笔迹认证的大规模中文签名和令牌数字串数据集

表2 与现有的中文签名数据集的比较

MSDS:一个用于笔迹认证的大规模中文签名和令牌数字串数据集
表3 与现有的数字数据集的比较
MSDS:一个用于笔迹认证的大规模中文签名和令牌数字串数据集

三、实验



作者使用多个前沿的签名认证方法在MSDS数据集进行实验,实验指标为在全局阈值和局部阈值情况下的等错误率(EER%),以EER全局/EER局部的形式给出。作者设置了详细的实验协议,详情请参阅原文。

作者首先分别在MSDS-ChS和MSDS-TDS上分别实验,实验结果如表4和表5所示。

表4 中文签名数据的认证结果,在MSDS-ChS中的测试集上测试

MSDS:一个用于笔迹认证的大规模中文签名和令牌数字串数据集

表5 令牌数字串数据的认证结果,在MSDS-TDS中的测试集上测试

MSDS:一个用于笔迹认证的大规模中文签名和令牌数字串数据集

作者有以下几个主要发现:

  • 跨时段的性能下降。表4和表5的1&2指使用两轮采集的数据进行实验(记为跨时段,其余记为单时段),可以看出模型在跨时段的数据下性能明显变差,这是由于同一书写者的笔迹在经过21天的间隔后可能会产生较大的变化,使得类内差异增加,给认证带来更大的难度。这说明跨时段的笔迹变化是一个很重要的因素,现实中的认证系统应当加以考虑。

  • 不同数据的性能。可以发现,所有模型在MSDS-TDS上比MSDS-ChS表现得更好。这两个子集采集时的设置和书写者都是相同的,只有内容不同,这说明令牌数字串是一种比中文签名更好的笔迹认证特征。作者认为原因可能有两方面:(1)由于更稀疏的空间结构,令牌数字串中的手写特征比中文签名更加容易被模型学习到;(2)令牌数字串包含更多的个人书写模式,在实际中比中文签名更加难模仿,导致真实和伪造的令牌数字串更容易被模型区分。这说明,在高精度场景下更推荐使用令牌数字串(如手机号,银行卡号等经常书写的、独特的号码串)来代替中文签名进行身份认证。

  • 认证失败样本分析。作者分析了错误接受和错误拒绝的样本,举例如图2所示。错误接受样本一般是高质量的熟练伪造样本;错误拒绝样本一般是由于两次采集的间隔导致同一个人的笔迹发生较大变化,虽然该样本是同一书写者的笔迹,但是被错判为伪造样本。

MSDS:一个用于笔迹认证的大规模中文签名和令牌数字串数据集图2 认证失败的样本

作者将联机和脱机模态的数据进行融合,证明了融合两种模态的数据可以降低身份认证的等错误率,如表6所示。

表6 融合联机和脱机模态数据的实验结果

MSDS:一个用于笔迹认证的大规模中文签名和令牌数字串数据集


如表7所示,作者在MSDS-ChS和DeepSignDB[1]数据集上进行跨数据集验证,说明了建立一个大规模中文签名数据集的必要性,也证明增加用户数量有助于降低身份认证的等错误率。

表7使用DsDTW[3]模型在MSDS-ChS和DeepSignDB[1]上进行跨数据集验证的结果
MSDS:一个用于笔迹认证的大规模中文签名和令牌数字串数据集

四、总结



本文提出了一个新的大规模笔迹认证数据集MSDS,包括MSDS-ChS和MSDS-TDS两个子集。该数据集包含来自402个书写者的数据,每个书写者在每个子集提供了20个真实样本和20个熟练伪造样本。数据分两轮采集,间隔至少为21天。MSDS-ChS是目前最大的中文签名数据集,MSDS-TDS包含了一个新的生物识别笔迹特征:令牌数字串。作者通过充分的实验验证了令牌数字串比中文签名更加有效,也说明了建立一个大规模中文签名数据集的必要性。令牌数字串是一个前人没有发现过的笔迹,可以帮助笔迹认证的实际应用并启发后续的研究。

五、相关资源



论文地址:https://arxiv.org/abs/2210.08836

数据集地址:https://github.com/HCIILAB/MSDS

参考文献



[1]. Tolosana, Ruben, et al. “DeepSign: Deep On-Line Signature Verification.” IEEE Transactions on Biometrics, Behavior, and Identity Science 3.2 (2021): 229-239.

[2]. Lu, Xinyi, et al. “SCUT-MMSIG: A Multimodal Online Signature Database.” Chinese Conference on Biometric Recognition. Springer, Cham, 2017.

[3]. Jiajia Jiang, Songxuan Lai, Lianwen Jin, and Yecheng Zhu. DsDTW: Local Representation Learning with Deep Soft-DTW for Dynamic Signature Verification. IEEE Transactions on Information Forensics and Security, 17:2198–2212, 2022.



原文作者: Peirong Zhang, Jiajia Jiang, Yuliang Liu, Lianwen Jin*


撰稿:张沛荣

编排:高 学

审校:连宙辉

发布:金连文 




免责声明:1)本文仅代表撰稿者观点,撰稿者不一定是原文作者,其个人理解及总结不一定准确及全面,论文完整思想及论点应以原论文为准。(2)本文观点不代表本公众号立场。


往期精彩内容回顾



欢迎加入中国图象图形学学会!(附入会攻略)


征稿启事:本公众号将不定期介绍文档图像分析与识别及相关领域的论文、数据集、代码等成果,欢迎自荐或推荐相关领域最新论文/代码/数据集等成果给本公众号审阅编排后发布 (联系Email: [email protected])。


扫码关注,获取最新OCR资讯


MSDS:一个用于笔迹认证的大规模中文签名和令牌数字串数据集

原文始发于微信公众号(CSIG文档图像分析与识别专委会):MSDS:一个用于笔迹认证的大规模中文签名和令牌数字串数据集

版权声明:admin 发表于 2022年12月6日 下午9:52。
转载请注明:MSDS:一个用于笔迹认证的大规模中文签名和令牌数字串数据集 | CTF导航

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...