终极中文聊天语料库：一站式解决聊天机器人数据难题

终极中文聊天语料库：一站式解决聊天机器人数据难题

【免费下载链接】chinese-chatbot-corpus中文公开聊天语料库项目地址: https://gitcode.com/gh_mirrors/ch/chinese-chatbot-corpus

中文聊天语料库是一个专为聊天机器人开发者打造的开源项目，它系统化地搜集和整理了目前市面上已有的开源中文聊天语料，让开发者无需四处搜集下载和分别处理各种不同格式的语料，轻松获取高质量的训练数据。

🌟 丰富多样的语料资源

该项目搜集了8个公开闲聊常用语料，包括chatterbot、豆瓣多轮、PTT八卦语料、青云语料、电视剧对白语料、贴吧论坛回帖语料、微博语料和小黄鸡语料，以及短信、白鹭时代问答等语料，为聊天机器人开发提供了充足的数据支持。

📊 语料详细信息

🚀 简单快速的使用方法

1️⃣ 下载语料

你可以通过以下方式下载语料：

• 阿里云盘：提取码: 81ao
• Google Drive

2️⃣ 配置环境

将解压后的raw_chat_corpus文件夹放到当前目录下，目录结构如下：

raw_chat_corpus -- language -- process_pipelines -- raw_chat_corpus ---- chatterbot-1k ---- douban-multiturn-100w ---- .... -- main.py -- ...

然后修改 config.py 中的 raw_chat_corpus_root 变量为自己的目录。

3️⃣ 执行处理脚本

在项目根目录下执行以下命令：

python main.py

或者

python3 main.py

📝 生成结果说明

每个来源的语料分别生成一个独立的*.tsv文件，都放在新生成的clean_chat_corpus文件夹下。生成结果格式为 tsv格式，每行是一个样本，先是query，再是answer，格式如下：

query \t answer

📚 项目结构

项目主要包含以下几个部分：

• process_pipelines/：包含各个语料的处理管道
• language/：语言处理相关模块
• config.py：项目配置文件
• main.py：主程序入口

🤖 如何获取项目

要获取该项目，你可以通过以下命令克隆仓库：

git clone https://gitcode.com/gh_mirrors/ch/chinese-chatbot-corpus

📄 版权说明

本项目为非商业项目，为纯搜集和汇总资料，如有侵权，请在issue下留言。

如果你在研究中使用了该语料库，可以引用以下bibtex：

@Misc{chinese-chatbot-corpus, title = {Chinese Chatbot Corpus}, author = {codemayq}, howpublished = {\url{https://github.com/codemayq/chinese_chatbot_corpus}}, year = {2018} }

中文聊天语料库为聊天机器人开发者提供了便捷、高效的数据解决方案，无论你是新手还是有经验的开发者，都能从中受益。赶快尝试使用，让你的聊天机器人开发更上一层楼！ 😊

【免费下载链接】chinese-chatbot-corpus中文公开聊天语料库项目地址: https://gitcode.com/gh_mirrors/ch/chinese-chatbot-corpus