大模型从0训练LLaMA全流程实战——基于昇腾910B集群

用昇腾集群从零训练一个LLaMA-7B，走完数据准备、代码修改、分布式配置、启动训练、监控调优的全流程。中间踩过的坑都标注在对应步骤里。

1. 硬件与环境确认（训练前必做）

训练大模型对环境的稳定性要求极高，任何一项不达标都可能导致训练中途崩溃。

#!/bin/bash# 训练前必做的环境检查，一项都不能漏echo"===== 1. 确认NPU卡数量 (8卡训练至少需要8张) ====="npu-smi info-tboard-dslot|grep'910B'|wc-l# 预期输出：8# ⚠️ 如果显示"欠压"或"异常"→ 先处理硬件问题再继续echo"===== 2. 确认CANN版本 (训练必须≥7.0) ====="cat/usr/local/Ascend/ascend-toolkit/latest/version.info|grep'Version'# 预期：7.5.RC1 或更高 (推荐 7.5+)echo"===== 3. 确认PyTorch和torch-npu版本 ====="python3-c"import torch; import torch_npu; print(f'PyTorch: {torch.__version__}, torch-npu: {torch_npu.__version__}')"# 预期：2.1.x + torch-npu 2.1.xxxx (版本必须严格匹配CANN)echo"===== 4. 确认HCCL通信库可用性 ====="python3-c"import torch.distributed as dist; print('UCC Available:', dist.isUCCAvailable())"# 预期输出：True (否则多卡无法通信)echo"===== 5. 确认节点间网络 (多节点训练必须) ====="# 简单测试：在所有节点上同时ping其他节点IPping-c3192.168.1.101# 延迟应 < 1ms，丢包率 0%echo"===== 6. 确认HCCL工具版本 ====="hccl_tool--version# 预期：跟CANN版本匹配，如 7.5.xecho"===== 环境检查完成 ====="

2. 数据准备：预训练语料清洗与Tokenization

LLaMA的训练质量取决于数据。“垃圾进，垃圾出”，清洗步骤直接决定模型上限。

核心流程

1. 下载: The Pile, SlimPajama, WanJuan1.0等。
2. 清洗: 去重、去HTML、去水印、过滤短文本。
3. 分词: 训练SentencePiece分词器 (Vocab=32000)。
4. 打包: 转为二进制.bin格式 (支持mmap，IO效率提升10x)。

#!/usr/bin/env python3""" Llama预训练数据准备流水线 """importosimportjsonimportnumpyasnpfrompathlibimportPathimportloggingimportreimportsentencepieceasspm logging.basicConfig(level=logging.INFO,format='%(asctime)s %(message)s')logger=logging.getLogger(__name__)classTextDatasetPipeline:def__init__(self,vocab_size=32000,max_seq_length=4096):self.vocab_size=vocab_size self.max_seq_length=max_seq_length self.stats={"total_docs":0,"filtered_docs":0,"total_tokens":0}defclean_text(self,text):""" ★ 关键步骤：决定训练质量 """# 去除HTML标签text=re.sub(r'<[^>]+>','',text)# 去除URL和邮箱text=re.sub(r'http[s]?://\S+|\S+@\S+','',text)# 去除特殊控制字符text=re.sub(r'[\x00-\x08\x0b-\x0c\x0e-\x1f\x7f]','',text)# 去重 (基于前50字符的简单去重)lines=text.split('\n')seen=set()deduped_lines=[]forlineinlines:key=line.strip()[:50].lower()ifkeyan