当前位置：首页 > news >正文

中文医疗对话数据集：79万条真实医患对话的完整开源解决方案

news 2026/7/16 16:44:05

中文医疗对话数据集：79万条真实医患对话的完整开源解决方案

【免费下载链接】Chinese-medical-dialogue-dataChinese medical dialogue data 中文医疗对话数据集项目地址: https://gitcode.com/gh_mirrors/ch/Chinese-medical-dialogue-data

中文医疗对话数据集是一个包含79万条高质量医患对话的开源资源，专为医疗人工智能研究和智能问诊系统开发而设计。这个数据集覆盖内科、外科、妇产科、儿科、男科和肿瘤科六大核心医疗领域，为研究人员和开发者提供了构建专业医疗AI模型的强大数据基础。无论是开发智能问诊系统、医学教育工具还是临床决策支持系统，这个数据集都能提供真实、专业的对话数据支持。

项目概述与核心价值 🏥

中文医疗对话数据集的核心价值在于其真实性和专业性。所有数据均来自实际的医疗咨询场景，包含患者详细的症状描述和医生专业的诊疗建议。这种真实性的数据能够帮助AI模型更好地理解实际医疗对话的语言特征和专业知识，为医疗人工智能的发展提供强有力的数据支撑。

数据规模与质量- 数据集总计包含79万条问答对，其中内科22万条、妇产科18万条、儿科10万条、外科11.6万条、男科9.4万条、肿瘤科7.5万条。每个问答对都经过严格筛选，确保文本质量和专业性，为医疗AI模型的训练提供了充足且高质量的数据资源。

标准化数据格式- 所有数据采用统一的CSV格式存储，包含四个关键字段：科室名称(department)、问题标题(title)、患者详细描述(ask)、医生专业建议(answer)。这种结构化的组织方式便于研究人员快速加载和处理数据。

多科室覆盖- 数据集涵盖六大医疗科室，确保训练模型的全面性和实用性。这种全方位的专业覆盖让AI能够学习到不同科室的医疗知识和诊断逻辑，为构建全科医疗AI系统奠定基础。

技术架构解析 🔧

数据结构设计

数据集采用简洁高效的CSV格式，每个文件包含以下字段：

科室名称(department)：医疗科室分类，如心血管科、内分泌科等
问题标题(title)：患者咨询的核心问题摘要
患者描述(ask)：患者详细的症状描述和咨询内容
医生回答(answer)：医生专业的医疗建议和诊断意见

数据处理流程

项目中提供了专门的数据处理脚本 Data_数据/IM_内科/数据处理.py，该脚本能够自动过滤无效数据、标准化文本格式。脚本主要功能包括：

数据清洗：过滤过长或过短的对话记录
格式标准化：确保数据格式一致性
隐私保护：对敏感信息进行脱敏处理

数据质量保障

通过设置合理的文本长度限制（小于200字），过滤掉过长或过短的对话记录，确保训练数据的质量和一致性。所有数据都经过脱敏处理，确保患者隐私信息得到充分保护。

快速开始指南 🚀

环境准备

首先克隆项目仓库到本地：

git clone https://gitcode.com/gh_mirrors/ch/Chinese-medical-dialogue-data cd Chinese-medical-dialogue-data

数据加载与预览

使用Python快速加载内科数据示例：

import pandas as pd # 加载内科数据集 data = pd.read_csv('Data_数据/IM_内科/内科5000-33000.csv', encoding='gbk') print(f"数据集大小: {data.shape}") print(f"数据字段: {data.columns.tolist()}") print("\n前3条数据示例:") print(data.head(3))

基础数据处理

# 数据清洗示例 def clean_medical_data(df): # 过滤无效数据 df = df.dropna() # 过滤过长的对话 df = df[df['ask'].str.len() < 500] df = df[df['answer'].str.len() < 500] # 去重处理 df = df.drop_duplicates(subset=['title', 'ask']) return df # 应用清洗 cleaned_data = clean_medical_data(data) print(f"清洗后数据量: {len(cleaned_data)}")

数据格式转换

如果需要将数据转换为其他格式用于模型训练：

# 转换为JSON格式 import json def convert_to_jsonl(df, output_file): with open(output_file, 'w', encoding='utf-8') as f: for _, row in df.iterrows(): record = { "instruction": f"现在你是一个{row['department']}医生，请根据患者的问题给出建议：", "input": row['ask'], "output": row['answer'] } f.write(json.dumps(record, ensure_ascii=False) + '\n') # 转换数据 convert_to_jsonl(cleaned_data, 'medical_dialogue.jsonl')

高级功能深度剖析 🔬

多科室数据整合

数据集包含六个医疗科室的数据，可以按需整合或分别使用：

import os import glob def load_all_departments(base_path='Data_数据'): """加载所有科室数据""" all_data = [] # 遍历所有科室文件夹 departments = ['Andriatria_男科', 'IM_内科', 'OAGD_妇产科', 'Oncology_肿瘤科', 'Pediatric_儿科', 'Surgical_外科'] for dept in departments: csv_files = glob.glob(os.path.join(base_path, dept, '*.csv')) for csv_file in csv_files: try: df = pd.read_csv(csv_file, encoding='gbk') df['source_department'] = dept all_data.append(df) except Exception as e: print(f"加载 {csv_file} 失败: {e}") return pd.concat(all_data, ignore_index=True) if all_data else pd.DataFrame() # 加载全部数据 full_dataset = load_all_departments() print(f"完整数据集大小: {full_dataset.shape}")

数据统计分析

def analyze_dataset(df): """数据集统计分析""" stats = { '总记录数': len(df), '科室数量': df['department'].nunique(), '科室分布': df['department'].value_counts().to_dict(), '平均问题长度': df['ask'].str.len().mean(), '平均回答长度': df['answer'].str.len().mean(), '最长问题': df.loc[df['ask'].str.len().idxmax()]['ask'][:100] + '...', '最长回答': df.loc[df['answer'].str.len().idxmax()]['answer'][:100] + '...' } return stats # 执行分析 dataset_stats = analyze_dataset(full_dataset) for key, value in dataset_stats.items(): print(f"{key}: {value}")

数据质量评估

def assess_data_quality(df): """评估数据质量""" quality_metrics = { '完整性': df.isnull().sum().to_dict(), '唯一性': { '唯一标题数': df['title'].nunique(), '重复率': 1 - df['title'].nunique() / len(df) }, '文本质量': { '过短问题(<10字)': (df['ask'].str.len() < 10).sum(), '过短回答(<10字)': (df['answer'].str.len() < 10).sum(), '过长问题(>500字)': (df['ask'].str.len() > 500).sum(), '过长回答(>500字)': (df['answer'].str.len() > 500).sum() } } return quality_metrics

实际应用场景 🏥

智能问诊系统开发

基于该数据集训练的AI模型能够为患者提供24小时在线医疗咨询服务，有效缓解医疗资源紧张的问题。模型可以理解患者描述的症状，并给出专业的医疗建议。

# 简单的问诊系统原型 class MedicalChatbot: def __init__(self, model, dataset): self.model = model self.dataset = dataset self.department_knowledge = self._build_knowledge_base() def _build_knowledge_base(self): """构建知识库""" knowledge_base = {} for dept in self.dataset['department'].unique(): dept_data = self.dataset[self.dataset['department'] == dept] knowledge_base[dept] = { 'common_questions': dept_data['title'].value_counts().head(10).to_dict(), 'expert_responses': dept_data.groupby('title')['answer'].first().to_dict() } return knowledge_base def respond(self, department, question): """根据科室和问题生成回答""" if department in self.department_knowledge: # 这里可以集成实际的AI模型 return self.department_knowledge[department]['expert_responses'].get( question, "请提供更多症状信息以便给出更准确的建议。" ) return "抱歉，该科室的问题暂时无法回答。"

医学教育培训应用

医学生可以通过与训练好的模型进行对话练习，提升临床诊断能力和医患沟通技巧。这种交互式的学习方式比传统的书本学习更加生动有效。

class MedicalTrainingSimulator: def __init__(self, dataset): self.dataset = dataset self.case_studies = self._prepare_case_studies() def _prepare_case_studies(self): """准备病例研究""" cases = {} for dept in self.dataset['department'].unique(): dept_cases = self.dataset[self.dataset['department'] == dept] cases[dept] = dept_cases.sample(min(50, len(dept_cases))) return cases def get_training_case(self, department, difficulty='beginner'): """获取训练病例""" if department in self.case_studies: case = self.case_studies[department].sample(1).iloc[0] return { 'department': case['department'], 'patient_description': case['ask'], 'expected_response': case['answer'], 'hints': self._generate_hints(case['answer']) } return None def _generate_hints(self, answer): """生成诊断提示""" # 简化的提示生成逻辑 keywords = ['建议', '治疗', '药物', '检查', '注意事项'] hints = [] for keyword in keywords: if keyword in answer: hints.append(f"考虑{keyword}相关建议") return hints

远程医疗支持系统

在偏远地区或特殊时期，智能问诊系统能够为居民提供及时的医疗咨询和健康指导，弥补医疗资源分布不均的问题。

性能优化建议 ⚡

数据预处理优化

批量处理：使用Pandas的向量化操作替代循环
内存优化：使用适当的数据类型减少内存占用
并行处理：利用多核CPU进行数据预处理

import numpy as np from multiprocessing import Pool def parallel_preprocess(data_chunks): """并行数据预处理""" with Pool() as pool: results = pool.map(process_chunk, data_chunks) return pd.concat(results) def process_chunk(chunk): """处理单个数据块""" # 应用各种预处理操作 chunk['ask_length'] = chunk['ask'].str.len() chunk['answer_length'] = chunk['answer'].str.len() chunk['is_valid'] = (chunk['ask_length'] > 10) & (chunk['answer_length'] > 10) return chunk[chunk['is_valid']]