数据开源 | Magic Data大模型高质量十万轮对话数据集

能够自然的与人类进行聊天交谈，是现今的大语言模型 (LLM) 区别于传统语言模型的重要能力之一，近日OpenAI推出的GPT-4o给我们展示了这样的可能性。

对话于人类来说是与生俱来的，但构建具备对话能力的大模型是一项不小的挑战，收集高质量的多轮对话训练数据则是其中关键一环。

为了能够让AI开发者们有效的推动多轮对话大模型的构建，晴数智慧首发推出了：LLM多领域超自然SFT多轮对话文本数据集！本数据集由晴数智慧Magic Data制作，总量数千万轮次。多样性，表现力，逻辑性，以及知识性都做到了极高品质，得到国内外大模型客户的认可。

大模型多轮对话SFT数据集_中文

为了能够让大家更好的理解我们的多轮对话数据集，我们选取了十万轮作为本次开源的“大模型多轮对话SFT数据集_中文”，其来源于晴数智慧LLM多领域超自然SFT多轮对话文本数据集。本次开源的部分数据，由来自中国的644名不同ID的采集人独家贡献，北京晴数智慧科技有限公司进行授权采集。每组对话由两位采集人围绕一个主题展开，上下文对话与当前的内容逻辑相关。适用于训练大模型多轮对话 (back and forth conversation)、上下文逻辑推理能力，以及端到端对话大模型。

数据统计

1、数据组成

“大模型多轮对话SFT数据集_中文”包含97184轮中文自然对话句子，涉及【家庭生活、教育医疗、军事战争、科学技术、气候环境、人文科学、商业经济、数码产品、体育竞技、休闲娱乐、衣食住行、艺术美术、政治法律、职业发展、宗教信仰】15个主题。领域覆盖多样，也可以单独抽取相关领域的数据进行领域SFT。

数据集下载

https://magichub.com/datasets/magicdata-clam-conversation_cn/

2、数据样例

游戏主题：

旅行主题：

3、数据处理

（1）数据分布设计

“大模型多轮对话SFT数据集_中文”由晴数智慧数据专家设计数据分布，数据语料多样化的领域内容，采集人多样化，为大模型多轮对话能力的泛化和可迁移性提供了可能性。

（2）数据处理

“大模型多轮对话SFT数据集_中文”采用Human-in-the-loop的数据处理方式，即机器自动化数据清洗结合人工干预的方式，通过人机协作多轮处理，使得数据更加满足高品质要求。

（3）数据合规措施

“大模型多轮对话SFT数据集_中文”处理过程遵循完整的晴数智慧数据合规保障机制，确保数据版权完整。

4、数据特点

（1）语料真实，情感丰富

“大模型多轮对话SFT数据集_中文”源自真实的人类自然交谈，语言表达自然且丰富，充满了个人特色，情感表达也非常自然。这使得在训练大模型SFT时，能够更加拟人化，提高对话的质量和真实感。

（2）领域相关

在每一组多轮对话，两位说话人围绕一个主题开展自然对话，能帮助模型学习并掌握人类的领域知识和逻辑，从而实现更精准的对齐。语料话题分布广泛，涉及休闲娱乐、衣食住行、教育医疗等近15个领域

（3）高表现力

贴合场景的自由对话赋予了数据极高的表现力，高表现力的数据带来的丰富信息维度能够使得模型更容易学到人类自然交谈的特点，从而实现更强大、泛化能力更好的模型性能。

数据集下载

https://magichub.com/datasets/magicdata-clam-conversation_cn/

如果您想了解更多晴数智慧的对话数据集详情，欢迎咨询business@magicdatatech.com