对抗NMT，将模型翻译结果与人类翻译的差距最小化

【新智元简介】中山大学、中国科学技术大学、微软亚洲研究院和广东省信息安全技术重点实验室提出了一种新的“抗神经机器翻译”（-NMT）模型。 他们改变了原有的最大化机器翻译和人工翻译的可能性的 NMT 训练目标，并最小化模型翻译结果和人工翻译之间的差距。 测试结果表明，对抗性 NMT 在几个强大的基准测试中显着提高了翻译质量。

今天我们介绍一下中山大学、中国科学技术大学、微软亚洲研究院和广东省信息安全技术重点实验室联合完成的一项研究。

第一作者吴丽君来自中山大学数据与计算机科学学院，第二作者夏来自中国科学技术大学，李钊、田飞、秦涛同属微软亚洲研究院的赖先生和刘铁燕是来自广东省信息安全技术重点实验室的研究人员。 赖还来自中山大学数据与计算机科学学院。

作者认为，虽然最新的 NMT 系统显着提升了之前统计机器翻译（SMT）的性能，但翻译质量仍有很大的提升空间。 作者认为，主要原因之一是NMT在训练时通常采用最大似然估计（MLE）原理，换句话说，就是将机器生成的翻译与源语言的人类翻译尽可能多地匹配可能（的）。

笔者认为，这样做并不能保证机器翻译的结果比人工翻译更自然、更准确、更到位。

对抗NMT，最小化模型翻译结果与人工翻译之间的差距

因此，在研究了NMT的学习范式后，他们采用了一种新的思路——训练NMT，以尽量减少模型翻译结果与人类翻译之间的差距。 为此，他们求助于生成对抗网络（GAN）的力量，并将新模型命名为“对抗 NMT”（-NMT）。

在对抗性 NMT 中，除了典型的 NMT 模型之外，还使用对抗器 ( ) 来区分 NMT 生成的翻译和人类翻译。 这个对手是一个精心设计的 CNN。 在训练过程中，NMT 和 CNN 这两个模块作为对手，相互增强彼此的性能。

需要指出的是，作者写道，与之前处于连续空间的 GAN 生成器不同，在他们的新框架中，NMT 模型不是典型的生成模型，而是将源语言句子映射到目标语言句子的概率转变，一切都在离散空间中。

这种差异使得训练 NMT 模型时需要设计新的网络架构和优化方法。 因此，作者专门设计了一个卷积神经网络（CNN，如上图所示）模型作为对手，并使用这种强化学习中广泛使用的策略梯度方法进行优化。

上图展示了对抗性 NMT 架构。 “Ref”是人类（-truth）翻译结果的缩写，“Hyp”是模型生成的翻译句子的缩写。 所有黄色部分代表 NMT 模型 G，它将源句子 x 映射到翻译。 红色部分代表对抗网络D，它负责根据源句子x预测给定的目标句子是真实翻译还是机器生成的翻译。 G和D相互对抗生成翻译样本y'来训练D，训练G的奖励信号策略下降（蓝色箭头所示）。

BLEU 基准测试结果，性能显着提升

下图是论文中给出的抗NMT性能测试的例子。

作者提供了2个德语→英语的例子，分为上下两栏。 从上到下显示的是德语源句子 x、实际（即人类）翻译 y、生成的翻译句子 y' 和对抗性 NMT 生成的翻译 y'。 D(x, y') 是模型翻译 y' 是真实翻译 x 的概率，由对手 CNN 计算得出。 BLEU 是每个翻译句子的单句翻译 bleu 分数。

下图显示了不同 NMT 系统在英语→法语之间翻译的性能。 默认设置为单层GRU + 30k 语料库（ ） + 最大似然估计（MLE）训练对象，不使用单语数据训练，即2014年等人提出的模型。

下面是不同 NMT 系统的德语→英语之间的翻译表现。 默认设置是使用 MLE 训练对象的单层 GRU 编码器-解码器模型，即 et al., 2014 提出的模型。

论文：对抗性神经机器翻译

概括

在本文中，我们研究了神经机器翻译（NMT）的新学习范式。 尽管之前的研究最大化了人工翻译的可能性，但我们却最小化了人工翻译与 NMT 模型给出的翻译之间的差异。 为了实现这一目标，受到生成对抗网络 (GAN) 最近成功的启发，我们采用了对抗性训练架构，并将其命名为对抗性 NMT。 在对抗性 NMT 中，NMT 模型是针对精心设计的卷积神经网络 (CNN) 进行训练的。 该对手 CNN 的目标是将 NMT 模型生成的翻译与人类翻译区分开来。 NMT 模型的目标是生成高质量的翻译来愚弄对手。 我们还利用策略梯度方法来协助训练 NMT 模型和对手 CNN。 实验结果表明，对抗性 NMT 在英语→法语和德语→英语翻译任务的几个强大基准上显着提高了翻译质量。

论文地址：

新智源招聘

职位：客户经理

该职位年薪：12万-25万（底薪+奖金）

工作地点：北京-海淀区

部门： 客户部

汇报对象：客户总监

年龄要求：20岁至30岁

性别要求： 不限

工作年限：3年

语言：英语+普通话

学历要求：全日制本科

职位描述：

准确把握客户需求及公司品牌定位，策划并撰写合作方案；

思维活跃，富有创造力，文字能力强，熟练运用PPT，有良好的视觉欣赏和表达能力，优秀的PS能力者最佳；

热情开朗，善于人际沟通，良好的沟通协作能力，具有团队合作精神；

优秀的活动准备和执行能力，较强的抗压能力和适应能力，适应高强度的工作；

有4A、公关公司工作经验者优先；

对于那些对高科技特别是人工智能领域有浓厚兴趣的人来说是加分的。

工作职责：

参与、管理并跟踪上级交办的项目进度，确保计划的实施。 制定、参与或协助上层管理人员实施相关政策和制度。 定期向公司提供准确的市场信息和客户信息，分析客户需求，维护与指定公司重点客户的关系，积极寻求发展新业务的机会。 建立和管理客户数据库，跟踪和分析相关信息。

申请邮箱：