机器之心发布
作者：Yizhe Zhang, Siqi Sun, Michel Galley等
天然言语对话生成是人工智能社区面对的一大难题，微软研讨院的一项新研讨让我们离处理这一难题又更近了一步。他们用 GPT-2 模型——DialoGPT，在大规模 reddit 数据上预练习了一个对话体系，在多个对话数据集上取得了最佳成果。并且经过人类裁判的评测，在非交互的图灵测验条件下，体系能够生成挨近人类水平的对话。
运用微软 DialoGPT 生成的对话成果示例。
DialoGPT 是一种用于对话呼应生成的可调理式千兆词级神经网络模型，其练习依据 Reddit 数据。该研讨成果的源代码现已开源，别的他们也发布了一个大规模预练习模型。
论文：https://arxiv.org/abs/1911.00536
项目：https:///en-us/research/project/large-scale-pretraining-for-response-generation/
代码：https://github.com/microsoft/DialoGPT
近来，运用依据 transformer 的架构进行大规模预练习方面发展颇丰（Radford et al., 2018; Devlin et al., 2019; Raffel et al., 2019），这些发展也在实践中取得了巨大的成功。举个比如，OpenAI 的 GPT-2（Radford et al., 2018）标明在大型数据集上练习的 transformer 模型能够捕获文本数据中的长程依赖性，从而生成流通、词法多样以及内容丰厚的文本。这样的模型有才能习得细粒度的文本数据，并得到能近似仿照人类所写的实在国际文本的高分辨率输出。
DialoGPT 是对 GPT-2 的扩展，方针是处理对话神经呼应生成中的挑战性难题。神经呼应生成是文本生成的一个子类。而文本生成使命的方针都是生成与提示有相关的看起来天然的文本（一起又与任何练习实例都不同）。可是，建模对话面对着许多明显的难题，因为人类对话中两个参与者的方针或许是彼此冲突的，并且或许呼应的范围在本质上也更具多样性。因而，对话生成中的一对多问题一般比神经机器翻译、文本摘要和文本释义等其它文本生成使命的问题更为困难。人类对话一般愈加不正式、噪声更多，而当以文本方式聊地利，一般还含有非正式的缩写或句法/词法过错。
类似于 GPT-2，DialoGPT 是以自回归言语模型的方式构建的，其模型架构运用了多层 transformer。但不同于 GPT-2，DialoGPT 的练习运用了从 Reddit 评论链中提取出的大规模对话对/会话。作者猜测这应该能让 DialoGPT 学到对话流中更细粒度的 P(Target, Source) 的联合散布。他们在实践中也调查到了这一现象：DialoGPT 生成的语句丰厚多样并且包括特定于源提示的信息，类似于 GPT-2 为接连文本生成的成果。
作者在一个揭露的基准数据集（DSTC-7）和一个新的从 Reddit 帖子中提取出的 6k 巨细的多参照测验数据集上对新提出的预练习模型进行了评价。成果标明，DialoGPT 在主动评价和人类评价方面都取得了当时最佳的体现，将对话生成成果的质量提高到了挨近人类的水平。
作者现已发布了本研讨的源代码与预练习模型。作者标明，这种模型运用简略，能够轻松地习惯新的对话数据集，尤其是练习样本较少的数据集。这个 DialoGPT 软件包还包括一个开源的依据 Huggingface PyTorch transformer（HuggingFace, 2019）构建的练习作业流程（数据提取/预备和模型练习/评价）。
办法
模型架构
DialoGPT 模型依据 GPT-2 架构。它从 GPT-2 承继了带有层归一化的 12 到 24 层 transformer、一种适用于经过作者修正的模型深度的初始化计划，用于 token 化器的字节对编码（Sennrich et al., 2016）。遵循 OpenAI 的 GPT-2 办法，作者将多轮对话会话建模为了长文本，将生成使命归入到了言语建模使命的结构中。
作者首要将一个对话会话中一切对话回合连接成一个长文本 x_1, · · · , x_N（N 为序列长度），并以「文本完毕 token」完毕。可将源语句（对话前史）记为 S = x_1, · · · , x_m，将方针语句（根本真值呼应）记为 T = x_, · · · , x_N，则 P(T|S) 的条件散布能够写为一系列条件概率的积：
关于多轮对话实例 T_1, · · · , T_K，（1）式可写为 p(T_K, · · · , T_2|T_1)，这本质上便是 p(T_i |T_1, · · · , T_) 的条件概率的积。终究，对单个方针 p(T_K, · · · , T_2|T_1) 的优化能够被视为是优化一切的 p(T_i |T_1, · · · , T_) 源-方针对。作者这儿的完成依据开源的 PyTorch-transformer 库。
链接：https://github.com/huggingface/pytorch-transformers
互信息最大化
敞开域文本生成模型有一个众所周知的困难，即会生成单调的、没有信息的样本。为了处理这样的一个问题，作者完成了一个最大互信息（MMI）评分函数（Li et al., 2016a; Zhang et al., 2018）。MMI 是运用一个预练习的后向模型来猜测给定呼应的源语句，即 P(Source|target)。作者首要运用 top-K 采样生成一组假定，然后运用 P(Source|Hypothesis) 的概率来对一切假定从头排序。直观来看，最大化后向模型似然会对一切单调的假定施加赏罚，因为频频的和重复性的假定或许与许多或许的查询有关，因而在恣意特定查询下得到的概率会更低。
作者也尝试了运用战略梯度来优化奖赏，其间与 Zhang et al. (2018) 相同运用了一种样本均匀的基线。这个验证奖赏能够取得安稳提高，但不同于 RNN 结构下的练习，作者调查到强化学习练习简单收敛到某个劣化的部分最优解，这时的假定仅仅是对源语句的重复（即学舌形式），此刻的互信息是最大化的。作者猜测，因为 transformer 具有强壮的模型表征才能，所以它们很简单堕入部分最优方位。但强化学习练习规范化的相关作业还有待未来研讨。
成果
作者将 DialoGPT 与别的两个基准进行了比较：作者自己内部的依据 (Li et al., 2016a) 的序列到序列模型 PersonalityChat，这个模型是依据 Twitter 数据练习的，现已在微软 Azure 的 Cognitive Service 得到了实践运用。表 2 总结了主动化评价的成果。有 345M 个参数的 DialoGPT 以及波束查找在简直一切基准上都得到了最高的主动评价分数。
表 2：DSTC 评价
作者进一步在一个有 6K 个样本的多参照测验集上评价了 DialoGPT。成果见表 3。测验进程运用了两种设置：从头开始练习以及运用 GPT-2 作为预练习模型进行微调。在这两种设置中，更大的模型都总是优于更小的模型。别的表 3 的倒数第二行总结了履行互信息最大化的成果。
表 3：6K Reddit 多参照评价
表 4（交互式谈天）和表 5（有用户提示的自播映谈天）给出了一些生成对话的样本。
表 4：处理知识问题
表 5：多轮对话的交互式示例
风趣的是，新提出的模型体现出了在某些特定的程度上处理知识问题的才能，作者猜测这或许要归功于 Reddit 数据中能够学习到的丰厚信息。在某些事例中，模型并不是给出「所需的」答案，而会生成另一个可代替的合理答案。作者调查到，该体系能比 RNN 对话生成体系更好地处理多轮对话生成，并且往往在上下文方面更能保持一致（表 5）。
作者还经过众包评价了从 Reddit 6K 测验数据集随机采样的 2000 个测验源。体系经过了配对，每一对体系的输出都被随机出现给 3 位评判者，他们会依据相关性、信息量和生成成果与人类成果的类似程度运用一个 3 分制的类 Likert 衡量对这些成果进行排名。作者先要求这些评判者经过了一个资历测验，并采用了一种废物检测准则。表 7 给出了评判者在相关性、信息量和人类类似度方面的全体偏好，成果用原始数值与占全体的百分比来标明。
表 7：在相关性、信息量和人类呼应或许性方面的人类评价成果
表 7 还标明「单纯」的 DialoGPT 基质模型或许就现已能到达与人类呼应附近的质量了。
机器之心「SOTA模型」：22大范畴、127个使命，机器学习 SOTA 研讨一扫而光。
