继续聊天！适用于持续对话代理的吸引力数据集

背景与动机

持续聊天是对话代理与人们建立长期联系的重要一步。然而，如果对话代理的话语不够吸引人，人们往往很快就会失去聊天的兴趣。我们认为，当前的大多数开放域对话数据集都是关于“两个陌生人试图相互了解”，缺乏对话数据来教导代理生成更具吸引力的对话，以增加用户继续与代理交谈的意愿。另一个问题是，这些数据集中的语言风格非常相似，尽管它们具有不同的角色。此外，大多数角色缺乏细节，很难给用户留下深刻的印象。在本文中，我们提出了一项新颖的任务，即提高用户继续与代理交谈的意愿。我们通过以下方式收集名为 ContinuousChat 的数据集：（i）收集人物角色并对其进行修改，然后通过经验、日常生活、未来计划或有趣的故事将人物角色扩展为详细人物角色； (ii) 将详细的人物角色扩展到对话中，并注入情感和感受； (iii) 通过少量提示，以特定风格的手写示例重写对话。我们使用微调和上下文学习设置在 ContinuousChat 数据集上对法学硕士进行基准测试。对公开可用模型的实验表明，尽管在生成特定风格的对话方面还有很大的改进空间，但我们的ContinuousChat 数据集对于指导对话代理生成更具吸引力的对话并提高用户继续对话的意愿很有价值。

论文《Keep Chatting! An Attractive Dataset for Continuous Conversation Agents》被ACL (Annual Meeting of the Association for Computational Linguistics) 2024会议接收，会议将于2024年8月召开。ACL是自然语言处理与计算语言学领域最高级别的学术会议——据谷歌学术计算语言学刊物指标显示，ACL影响力位列第一，也是CCF A类会议。

方法

这项工作的目的是让用户愿意继续与模特聊天。我们收集了一个名为 CONTINUOUSCHAT 的中文对话数据集，该数据集由ChatGPT 生成并手工修改的有吸引力的对话组成。数据集详细信息如表2所示。

数据收集分为三个阶段。

(a)角色收集和扩展。我们收集角色并修改它们，然后通过经历、日常生活、未来计划和有趣的故事将基本角色扩展为详细角色。

(b) 基础连续聊天生成。然后我们将详细的人物角色扩展到对话中，并在对话中表达情感和感受。

(a) 角色收集和扩展

还有许多用于开发模型的角色聊天数据集。我们首先从 DuLeMon 数据集中收集人物角色，因为它包含中文人物角色。然后我们通过（i）重写含义不明确的人物角色来修改它们。例如，我们将“她教我做饭”改为“奶奶教我做饭”，因为前者的语义含糊不清。(ii) 重写非本地角色。例如，我们将“我的父母都去世了”改为“我的父母都去世了”。（iii）保留并添加“富有想象力”的人物角色，使对话更有趣，例如“我长大后想成为一只狗” 向上”，或者“我认为如果狗经过良好的训练，它们可以学会阅读”。(iv) 当多个角色具有相同含义时，保留表达最生动的一个。例如，我们保留“我有一只名叫茶的哈巴狗” ”并删除了“我有两只狗”。

但由于缺乏细节，修改后的角色仍然不够吸引人。换句话说，一个有吸引力的人物形象不应该只是一个简短的句子，而应该是一个充满细节的段落。为了解决这个问题，我们通过（i）经历，（ii）日常生活，（iii）未来计划和（iv）随机有趣的故事将上述基本角色扩展到详细角色。由于手工编写的成本高且速度慢，我们使用ChatGPT来完成此工作。我们手动为上述 4 个主题编写提示。提示中也写了句子数量和长度的要求。提示示例如图 2 (a) 所示。

(b) 基础连续聊天生成

ChatGPT 用于根据手写提示将详细角色扩展到对话中。特别是，我们要求模型在对话中表达情感和感受，并在每个句子后面标记情感。提示示例如图 2 (b) 所示。

(c) 风格连续聊天生成

之前的研究表明，关注积极的风格可以提高聊天的参与度。因此，我们将上一步中生成的对话改写为积极风格的对话，使其更具吸引力。我们首先从217种汉语积极风格中挑选出10种常见的积极风格。特别是，我们增加了3种特殊的中文语言风格：中文网络风格、相声风格和武侠小说风格。我们为每种风格手动编写示例。ChatGPT 用于通过少量提示以特定风格重写对话，以手写特定风格示例为条件。表 4 显示了手写样式的示例。由于计算资源的限制，我们无法以所有风格重写对话。对于上面的每个对话，我们随机选择 10 种风格中的 4 种和 3 种特殊中文语言风格中的 1 种作为目标风格。提示示例如图 2 (c) 所示。

评价和结果

表 5 报告了总体实验结果。我们的 FUNE-TUNING + PROMPT 设置在所有人类评估指标（尤其是吸引力和风格化）上一致地实现了更好的性能，这表明我们的方法可以利用更多的 CONTINUOUSCHAT 数据，帮助指导对话代理生成更具吸引力的对话并提高用户继续的意愿的谈话。

图 3 显示了用户在三种不同设置中与代理进行持续多轮对话的示例。我们可以看到，基本设置中的代理（不使用我们的数据集）更有可能导致用户对对话失去兴趣。使用我们提出的数据集进行微调或上下文学习可以帮助代理生成更具吸引力的对话。这表明，使用我们提出的数据集微调模型可以帮助对话代理生成更具吸引力的对话，并提高用户继续与代理交谈的意愿。

技术贡献

本文的主要贡献可归纳如下：当前的大多数开放域对话数据集都是关于“两个陌生人试图相互了解”，缺乏对话数据来教导代理生成更具吸引力的对话，以增加用户继续与代理交谈的意愿。我们提出一项新颖的任务，即提高用户继续与代理聊天的意愿。对于这项新任务，我们通过以下方式收集名为 ContinuousChat 的数据集：（i）收集人物角色并对其进行修改，然后通过经验、日常生活、未来计划或有趣的故事将人物角色扩展为详细人物角色；(ii) 将详细的人物角色扩展到对话中，并注入情感和感受；(iii) 通过少量提示，以特定风格的手写示例重写对话。对公开可用模型的实验表明，我们的 CONTINUOUSCHAT 数据集对于指导对话代理生成更具吸引力的对话并提高用户继续对话的意愿很有价值。

作者介绍

王一鹤，2020年于武汉大学计算机学院获得学士学位，目前正在武汉大学攻读博士学位。他的研究兴趣包括大模型、人机交互、对话代理等。

刘进是本文通讯作者，2005年于武汉大学软件工程国家重点实验室获得博士学位，是武汉大学计算机学院的三级教授、CCF软件工程和服务计算专委委员，研究兴趣包括跨模态智能软件服务和工业软件，在TSC、TSE、TOIS、TKDE、TASLP、ICOSC、ICWS、MM、ASE、ACL、EMNLP等知名期刊和会议上发表了多篇学术论文。

万瑶是华中科技大学计算机科学与技术学院的副教授。在此之前，于2019年12月在浙江大学获得博士学位，师从吴健教授和周钊教授。2014年访问中国香港中文大学深圳研究院（与郑子斌教授合作），2016年访问澳大利亚悉尼科技大学（与徐冠东教授合作），以及伊利诺伊大学芝加哥分校， 2018年美国（与Philip S. Yu教授合作）。研究兴趣主要集中在人工智能和软件工程之间的协同，特别是自然语言处理、编程语言和大语言模型。

李一同就职于华为，曾获华为“天才少年”荣誉。在墨尔本大学 CIS 学院获得博士学位，导师为 Tim Baldwin 教授和 Trevor Cohn 教授。他的研究兴趣是自然语言处理（NLP）和机器学习。

刘子枫，2022年于武汉大学取得学士学位，目前正在武汉大学攻读计算机硕士学位，研究兴趣包括大模型高效参数微调，零样本学习，文本生成。