爱刨根知识网

  1. 首页 > 经验知识 > >

微软发布DialogGPT AI对话模型

生活经验知识分享


微软研究院的 自然语言处理小组发布了对话生成式预训练转换器(DialoGPT)，这是一种用于自动对话响应生成的预训练深度学习自然语言处理(NLP)模型 。该模型经过了超过1.47亿次对话的培训，并在多个基准测试中获得了最新的结果 。
该团队在arXiv上发表的一篇论文中介绍了该系统的详细信息 。DialoGPT建立在GPT-2转换器架构上，并使用从Reddit注释线程中抓取的数据集进行了训练 。使用两个测试数据集对模型进行了评估，这两个数据集是Dialog System Technology Challenges(DSTC-7)数据集，还从Reddit中提取了一个新的6k示例数据集 。对于这两个数据集，该团队使用机器翻译指标(例如BLEU和Meteor)来评估DialoGPT与微软的Personality Chat相比的性能 。以及DSTC-7冠军“ B队” 。DialoGPT在所有指标上均优于其他模型 。该团队还利用人类裁判对DialoGPT的输出与真实人类的反应进行排名 。法官们约有50%的时间喜欢DialoGPT的回应 。
该变压器的架构已经成为NLP任务流行的深学习模型 。这些模型通常使用无监督学习在大型数据集(例如Wikipedia的内容)上进行预训练 。通过预训练，模型可以在针对特定任务的数据集(例如DSTC-7数据集)上进行微调之前，学习自然的语言结构 。即使没有微调，大型的预训练模型也可以实现最新的结果在NLP基准上 。但是，DialoGPT团队指出，这些模型中的许多都是“臭名昭著的，因为它们生成的样本淡淡，内容不详 。” 为了解决这个问题，他们实施了最大互信息(MMI)评分功能，该功能对模型的输出进行重新排名，对“平淡”的输出进行惩罚 。研究小组还研究了使用强化学习 来改善模型结果的方法，但发现这样做通常会导致回答只是重复了源句 。
【微软发布DialogGPT AI对话模型】由于缺乏用于对话任务的高质量训练数据集，预训练模型对于会话系统特别有吸引力 。但是，使用来自Reddit或Twitter之类的Internet网站的自然对话信息会带来风险，该模型可能会暴露于攻击性言论并可以从中学习 。在与Twitter用户交谈之后，微软较早的实验聊天机器人Tay 产生的输出 “ 绝对不合适且应受到谴责” 。微软的个性聊天云服务试图解决这个问题通过使用一系列机器学习分类器在自动生成响应之前过滤掉令人反感的输入 。作为预防措施，DialoGPT团队选择不发布将模型输出转换为实际文本字符串的解码器 。同样，由于担心“技术的恶意应用” ，OpenAI 最初保留了其经过全面训练的模型 。

    推荐阅读


    上一篇：路西法是什么天使

    下一篇：平板和手机哪个伤眼睛