语义分析法德语 基于语义表示的多任务句法分析

本篇文章给大家谈谈语义分析法德语，以及基于语义表示的多任务句法分析对应的知识点，文章可能有点长，但是希望大家可以阅读完，增长自己的知识，最重要的是希望对各位有所帮助，可以解决了您的问题，不要忘了收藏本站喔。

ACL2018LongPapers

基于语义表示的多任务句法分析

MultitaskParsingAcrossSemanticRepresentations

埃德蒙及莉莉萨弗拉大脑科学研究中心

本文是ELSC和希伯来大学发表于ACL2018的工作，为提高语义解析性能，本文采用作UCCA解析为测试用例，AMR、SDP和UD（UniversalDependencies）解析为辅助任务，使用统一的基于转换系统和学习架构，在三种语言上进行实验。实验结果表明，尽管在概念、形式和领域方面存在显著差异，多任务学习在域内和域外设置下都显著改进了UCCA的解析性能。相关代码见http://github.com/danielhers/tupa。

语义分析在语言任务中尚未充分发挥其潜力，一部分原因是语义标注的训练数据数量有限。这种情况在除英语以外的语言中表现得更为明显，而且研究领域较少。最近在语义分析方面的工作主要针对摘要表示、bilexical语义依存分析和普遍概念认知标注UCCA。虽然这些方案在形式上是不同的，但是它们的语义内容大部分是共享的。

多任务学习允许利用任务之间的重叠来有效地扩展训练数据，并且在神经网络和表示学习方面有了很大的进步。本文在前人基础上，提出了一个通用的基于转换的DAG解析器，能够解析UCA、AMR、SDP和UD。我们使用MTL对解析器进行训练，在训练数据稀少的域内和域外英语设置、德语域内设置、法语域内设置的单任务训练中，UCCA解析性能获得了显著改进。本文的创新之处在于提出了一个通用的解析和学习的体系结构，能够适应不同广泛的解析任务，并展示了联合学习的好处。

该部分关注于产生全句分析的表示，即产生覆盖文本中所有（内容）单词的图表，或者它们的词汇概念。这与“浅”语义解析（主要是语义角色标记）形成对比，后者针对使用平面结构的参数结构。我们考虑了四种形式：UCCA、AMR、SDP和UniversalDependencies。下图显示了在每中方案下的句子标注。

UniversalConceptualCognitiveAnnotation。UCCA是一个语义表示，其主要的设计原则是便于标注、跨语言的适用性和模块化的体系结构。UCCA指的是话语语义的有向无环图（DAG），终端（无孩子节点）节点指的是文本tokens，非终端节点的语义单位指一些上位关系，边缘标记指示子在父表示关系中的作用。节点和边属于多个层中的一个，每个层对应于语义区分的“模块”。UCCA的基础层（该层标注数据存在）主要包括谓词论元结构，语义头和场景间的关系。

AbstractMeaningRepresentation。AMR是一个语义编码的实体，论元结构、语义角色命名信息、词义和共指。AMRS是有根节点的有向图，其中节点和边都被标记。

SemanticDependencyParsing。SDP使用一组相关的表示，分别对应于四种语义表示方案，称为DM、PAS、PSD和CCD，表示句子中词语之间的谓词-论元关系。所有这些都是基于语义形式化的，转化为双线性依赖的有向图，其节点是文本标记，编码tokens之间的语义关系。

UniversalDependencies。UD在多种的语言下，已经快速成为依赖的显性句法标注方案，旨在跨语言一致和粗粒度树库标注。UD一般使用bilexical树，边上的标注表示词之间的句法关系。

上述方案在不同程度上都表现出了一定的不连续性。此外，UCCA和AMR包含非终端节点。为了解析这些图，我们采用TUPA，它是最初为UCCA开发的基于转换的解析器，可以产生任何标记的DAG。

为了预测每一步的下一个转换，我们使用一个嵌入的BiLSTM作为输入，然后是采用MLP和softmaxlayer进行分类。该模型如下图所示，持续进行推理，并且使用oracle进行训练，这就产生了在给定状态下的所有最优转换集（导致仍然可达最优图的状态）。

在这个集合之外，训练中实际进行的转换是分类器给出的得分最高的转换，训练的目的是使每一步最优转换的对数似然函数值之和最大化。

为了将解析器应用于四个目标任务，我们将它们转换为统一的DAG格式，该格式具有足够的包容性，允许在信息损失非常小的情况下表示任何方案。

该格式由根DAG组成，其中tokens是终端节点。与UCCA格式一样，边缘被标记（但不是节点），并且被划分为主边和远边，其中主边形成树（所有节点最多有一个主父节点，而根节点没有）。远边可重入，以便和主边形成一个DAG。下图显示了转换后的图形实例。

同样的模型可以应用于不同的任务，我们可以在多任务设置中进行训练。针对UCCA提供的较小的训练集，这使得MTL尤为具有吸引力。

为了可以再上述四个目标任务上应用我们的解析器，我们将其转换成一个统一的DAG的格式，这是一个足够归纳的形式，而且可以在损失很小信息的情况下进行表示。我们保留TUPA（UCCA解析）用于主任务的BiLSTM，添加跨所有任务共享的BiLSTM，并为每个任务复制MLP（前馈子网），跨任务共享特征嵌入。如下图所示。

对于UCCA，我们使用标准的train/dev/test分开的英语维基百科语料库，以及用英语、法语和德语注释的TwentyThousandLeaguesUndertheSeacorpora。如下表所示。

我们使用一下设置：英语的域内设置，在Wiki在进行训练和测试；英语域外设置，在Wiki上训练，20K测试；法语域内设置，训练和测试都是20K；德语域内设置，20K，并含有一定噪音。对于MLT实验，英语我们采用未标注的AMR，DM和UD++解析，法语和德语使用未标注的UD解析。

我们为每种设置创建一个统一的语料库，将所有句子从相关数据集中聚在一起，在每个训练阶段，我们使用来自每个任务的相同数量的样本—UCCA训练集大小。由于训练集大小不同，我们从每个句子中抽取了这么多句子。该模型使用DyNet实现。

我们选择了具有最佳平均标记F1得分的UCCA开发集。下表中列出了其他的超参数设置。

下表介绍了我们的在英语域内维基测试集的结果。

MTL与所有辅助任务的组合提高了主F1得分。在大多数设置中，此改进具有重大意义。使用所有辅助任务贡献少于DM和UD++，其组合在域内UCCA解析中获得了最好的分数，在主边上有74.9%F1。RemoteF1在某些设置中得到了改进，但是由于远边的数量相对较少（大约占所有边缘的2%），所以没有显著差异。请注意，我们的基线单任务模型（single）略优于当前最新技术，这是由于加入了其他特性。

下表在三种语言的20K语料中给出了我们的实验结果。

对于域外英语，使用MTL的改进更加明显。此外，改进在很大程度上是附加的：使用所有三个辅助任务（All）的最优模型产生2.9%的误差降低。而且单任务基线略好于HAR17。

MTL对法语和德语域内解析的贡献也很明显：法语错误减少3.7%（UCCA训练数据少于英语的10%），德语错误减少1%，其中训练集的大小与英语相似，但噪声较大。最好的MTL模型明显优于单任务模型，这说明针对主要任务，即使一个小训练集也可以满足，只要有足够的辅助训练数据（和法语一样）。

任务相似性是MTL成功的重要因素。在本例中，主任务和辅助任务在不同领域的不同语料库上进行标注，并且目标表示形式和内容都不同。为了量化领域的差异，我们遵循的Plank和vanNoord的方法，测量了英语训练集和20K测试集中单词分布的L1距离。如下表所示。

比较添加每个任务作为辅助任务所得到的平均改进，无论是域内设置还是域外设置，我们发现AMR最少，UD++第二，DM最有益。这一趋势与任务之间的形式相似性弱相关，如下表所示。

本文展示了语义解析器可以利用一系列语义和语法标注的数据来提高性能。实验表明，MTL使用AMR、DM和UD句法解析作为辅助，提升了UCCA解析性能。我们提出了统一的DAG表示，构造了将这些方案转换为统一格式的协议，并推广基于转换的DAG解析器来支持所有这些任务，允许在这些任务上进行联合训练。

虽然我们在此工作中主要关注UCCA，但我们的解析器能够解析任何可以用统一的DAG格式表示的方案，并且实验表明关于AMR、DM和UD的初步结果是有前途的。未来的工作将研究单个算法和体系结构是否能够在所有这些解析任务上表现良好，这是将其用于语义解析的联合多任务模型的重要一步。

http://aclweb.org/anthology/P18-1035

如果你还想了解更多这方面的信息，记得收藏关注本站。