论文研究一种基于层叠CRF的古文断句与句读标记方法.pdf

针对利用自然语言理解技术进行古汉语断句及句读标注的主要挑战是数据稀疏问题，设计了一种六字位标记集，提出了一种基于层叠式CRF模型的古文断句与句读标记方法。基于六字位标集，低层模型用观察序列确定句子边界，高层模型同时使用观察序列和低层的句子边界信息进行句读标记。实验在5M混合古文语料上分别进行了封闭测试和开放测试，封闭测试断句与句读标注的F值分别达到96.48%和91.35%，开放测试断句与句读标注的F值分别达到71.42%和67.67%。