文件:辜仰淦-汉语多粒度词语内部依存结构分析研究与实现-final.pdf

文件说明

中文汉字从象形文字推衍而来，包含了丰富而具体的语义信息，通常一个汉语词语的意思能够从组成它的汉字间推敲出来。通过分析汉语词语内部汉字与汉字之间的依存关系，能够帮助我们更好地研究中文自然语言处理的一些上游任务。近期，Gong等人提出对汉语词内部结构进行深层分析，他们标注了超过30K个词语的词内部结构树库WIST并进行基准实验。与汉语词内部结构分析类似，多粒度分词构建了句子分词的层次结构，在某种程度上也分析了词语的内部组成。然而，当我们对比现有汉语词内部分析模型预测的依存结构与多粒度分词层次结构时，发现二者在分析词内部构成上存在不一致的现象（称这种现象为词内部依存冲突），这往往导致了汉语词内部结构分析错误。

为此，本文提出结合多粒度分词信息进行汉语词内部结构分析的方法以解决词内部依存冲突的问题，从而更好地提升词内部结构分析的效果。首先，本文基于WIST构建了多粒度词内部结构数据集，同时基于面向句法分析的Parser模型构建了面向词内部依存结构分析的模型。其次，提出了两种解决词内部依存冲突的方法，第一种方法通过人工规则对词内部结构进行后处理，第二种方法通过引入多粒度分词信息进行约束解码。最后，将两种解决依存冲突的方法应用到词内部依存结构分析模型上，并在多粒度词内部结构数据集上进行实验。实验结果表明，我们引入多粒度分词信息的方法能够有效地解决词内部依存冲突问题，提升词内部结构分析的各项指标。