MedicalGPT完全指南：从零开始训练你的专属医疗大模型

MedicalGPT完全指南：从零开始训练你的专属医疗大模型

【免费下载链接】MedicalGPTMedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)和DPO(直接偏好优化)。项目地址: https://gitcode.com/gh_mirrors/me/MedicalGPT

MedicalGPT是一个强大的开源项目，旨在帮助开发者从零开始训练专属于自己的医疗大模型。该项目实现了完整的ChatGPT训练流水线，包括增量预训练、有监督微调、RLHF（奖励建模、强化学习训练）和DPO（直接偏好优化）等关键技术，让你能够打造出符合医疗领域需求的AI助手。

📋 准备工作：环境搭建与依赖安装

在开始训练医疗大模型之前，我们需要先搭建好开发环境并安装必要的依赖。首先，克隆项目仓库到本地：

git clone https://gitcode.com/gh_mirrors/me/MedicalGPT cd MedicalGPT

项目提供了详细的依赖列表，你可以通过以下命令快速安装所有必要的Python包：

pip install -r requirements.txt

requirements.txt文件中包含了项目所需的所有依赖，包括PyTorch、Transformers、Datasets等关键库，确保了训练过程的顺利进行。

📊 数据集准备：医疗数据的收集与处理

训练医疗大模型，高质量的数据集是关键。MedicalGPT项目提供了丰富的数据集支持，涵盖了医疗领域的多个方面。

数据集类型

项目中的数据集主要分为以下几类：

• 预训练数据集：包括医疗相关的英文文章、中文医疗文献等，如data/pretrain/目录下的en_article_tail500.txt、fever.txt等。
• SFT数据集：用于有监督微调的医疗对话数据，如data/finetune/目录下的medical_sft_1K_format.jsonl、sharegpt_zh_1K_format.jsonl。
• 奖励模型数据集：用于训练奖励模型的偏好数据，如data/reward/目录下的dpo_zh_500.jsonl。

数据集格式

不同阶段的训练需要不同格式的数据集，具体格式要求可以参考docs/datasets.md文件。例如，SFT数据集通常采用JSONL格式，每一行包含一个对话样本，包含用户输入和助手回复。

🔄 训练流程：从预训练到DPO的完整路径

MedicalGPT提供了完整的训练流水线，让你能够逐步构建自己的医疗大模型。下面我们将详细介绍每个训练阶段。

阶段一：增量预训练（PT）

增量预训练是在已有基础模型的基础上，使用医疗领域的文本数据进一步训练模型，使其掌握医疗领域的专业知识。

你可以使用项目提供的run_pt.sh脚本启动预训练：

bash run_pt.sh

预训练过程通常需要大量的计算资源，你可以根据自己的硬件条件调整zero1.json、zero2.json或zero3.json中的配置参数，以实现高效的分布式训练。

阶段二：有监督微调（SFT）

有监督微调是使用高质量的医疗对话数据对预训练模型进行微调，使其能够生成符合医疗规范和专业要求的回答。

项目提供了多个SFT训练脚本，如run_sft.sh和run_sft_accelerate.sh，你可以根据需要选择：

bash run_sft.sh

微调过程中，你可以调整训练参数，如学习率、 batch size等，具体参数说明可参考docs/training_params.md。

阶段三：RLHF与DPO

RLHF（基于人类反馈的强化学习）

RLHF分为奖励建模（RM）和强化学习（RL）两个步骤。首先，训练一个奖励模型来评估回答的质量：

bash run_rm.sh

然后，使用奖励模型作为反馈，通过强化学习进一步优化模型：

bash run_ppo.sh

DPO（直接偏好优化）

DPO是一种更高效的偏好优化方法，它直接通过偏好数据优化模型，无需单独训练奖励模型。你可以使用run_dpo.sh脚本启动DPO训练：

bash run_dpo.sh

图：GPT助手训练流水线，展示了从预训练到强化学习的完整过程

图：RLHF与DPO方法对比，展示了两种偏好优化方法的流程差异

🚀 模型部署与演示

训练完成后，你可以使用项目提供的演示脚本快速部署和测试你的医疗大模型。例如，使用gradio_demo.py启动一个Web界面：

python gradio_demo.py

或者使用fastapi_server_demo.py启动一个API服务：

python fastapi_server_demo.py

图：MedicalGPT命令行演示界面，展示了模型的交互效果

❓ 常见问题与解决方案

在训练和使用过程中，你可能会遇到一些问题。项目的docs/FAQ.md文件收集了常见问题及解决方案，例如：

• 报错"NotImplementedError: Cannot copy out of meta tensor; no data!"
• chatglm、baichuan模型用LoRA（peft）训练合并时报错
• chatglm、baichuan无法做RM和RL训练等问题

如果你遇到其他问题，也可以查阅项目文档或在社区寻求帮助。

📚 进一步学习与资源

要深入了解MedicalGPT的更多细节，你可以参考以下资源：

• docs/training_details.md：详细介绍了每个训练阶段的技术细节
• docs/extend_vocab.md：介绍如何扩充中文词表，提升模型对医疗专业术语的理解能力
• 项目中的Jupyter Notebook文件，如run_training_dpo_pipeline.ipynb和run_training_ppo_pipeline.ipynb，提供了更直观的训练流程演示

通过本指南，你已经了解了使用MedicalGPT训练医疗大模型的基本流程。现在，就开始动手实践，打造属于你的专业医疗AI助手吧！

【免费下载链接】MedicalGPTMedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)和DPO(直接偏好优化)。项目地址: https://gitcode.com/gh_mirrors/me/MedicalGPT