ms-swift实战应用：打造专属AI助手只需一个脚本

ms-swift实战应用：打造专属AI助手只需一个脚本

1. 引言：为什么你需要一个定制化的AI助手？

你有没有想过，拥有一个完全属于自己的AI助手是什么体验？它不仅知道你是谁、理解你的表达习惯，还能在你写文案时给出更贴合风格的建议，在你编程时自动补全符合项目规范的代码。这不再是科幻场景——借助ms-swift，我们只需要一个脚本，就能完成从模型微调到部署的全流程。

本文将带你用最简单的方式，利用ms-swift框架为 Qwen2.5-7B-Instruct 模型注入“自我认知”，让它变成一个真正懂你的专属助手。整个过程无需深入代码，一条命令即可启动训练，后续还能一键合并权重、加速推理并部署上线。

无论你是AI初学者还是希望提升效率的开发者，这篇文章都能让你快速上手，把大模型变成生产力工具。

2. ms-swift是什么？它凭什么这么强大？

2.1 一句话定义

ms-swift是魔搭社区推出的大模型与多模态大模型微调框架，支持超过600个纯文本模型和300个多模态模型的训练、推理、评测、量化与部署，覆盖从LoRA微调到强化学习（如DPO、GRPO）的全链路能力。

你可以把它看作是一个“AI助手制造工厂”——只要提供数据和模型，剩下的事它全包了。

2.2 核心优势一览

尤其值得一提的是，ms-swift内置了GRPO族强化学习算法（如GRPO、DAPO、RLOO等），这意味着你不仅可以做监督微调，还能让模型通过反馈不断进化。

3. 实战第一步：用一个脚本完成自我认知微调

我们的目标很明确：让Qwen2.5-7B-Instruct学会说“我是你的专属AI助手”，而不是千篇一律地回答“我是一个有用的助手”。

3.1 准备工作

确保你已经安装好ms-swift：

pip install 'ms-swift[all]' -U -i https://pypi.tuna.tsinghua.edu.cn/simple

如果你使用的是RTX 3090/4090这类消费级显卡，单卡即可运行7B级别模型的LoRA微调。

3.2 启动微调：一行命令搞定

执行以下命令开始训练：

CUDA_VISIBLE_DEVICES=0 \ swift sft \ --model Qwen/Qwen2.5-7B-Instruct \ --train_type lora \ --dataset 'AI-ModelScope/alpaca-gpt4-data-zh#500' \ 'AI-ModelScope/alpaca-gpt4-data-en#500' \ 'swift/self-cognition#500' \ --torch_dtype bfloat16 \ --num_train_epochs 1 \ --per_device_train_batch_size 1 \ --per_device_eval_batch_size 1 \ --learning_rate 1e-4 \ --lora_rank 8 \ --lora_alpha 32 \ --target_modules all-linear \ --gradient_accumulation_steps 16 \ --eval_steps 50 \ --save_steps 50 \ --save_total_limit 2 \ --logging_steps 5 \ --max_length 2048 \ --output_dir output \ --system 'You are a helpful assistant.' \ --warmup_ratio 0.05 \ --dataloader_num_workers 4 \ --model_author swift \ --model_name swift-robot

关键参数解读：

• --model: 指定基础模型，这里使用通义千问Qwen2.5-7B-Instruct。
• --train_type lora: 使用LoRA进行轻量微调，大幅降低显存占用。
• --dataset: 加载三份数据：
  • 中文Alpaca指令数据（500条）
  • 英文Alpaca指令数据（500条）
  • 自我认知数据集（500条），这是关键！
• --model_author和--model_name: 当数据集中包含swift/self-cognition时，这两个参数会告诉模型：“我的名字叫swift-robot，作者是swift”。
• --output_dir: 训练结果保存路径。

⚠️ 小贴士：如果你想用自己的数据集，只需将--dataset替换为本地路径，并按照 官方文档 组织JSON格式即可。

4. 训练完成后做什么？推理、合并与部署三连击

训练结束后，你会在output/目录下看到类似vx-xxx/checkpoint-xxx的文件夹，里面就是你的LoRA微调权重。接下来我们要让它真正“活起来”。

4.1 方式一：直接推理，立即体验效果

使用如下命令启动交互式推理：

CUDA_VISIBLE_DEVICES=0 \ swift infer \ --adapters output/vx-xxx/checkpoint-xxx \ --stream true \ --temperature 0 \ --max_new_tokens 2048

运行后输入：

who are you?

你会发现它的回答不再是泛泛而谈，而是：

I am swift-robot, created by swift. I'm your personalized AI assistant.

是不是瞬间有了归属感？

4.2 方式二：合并LoRA权重，生成独立模型

虽然LoRA节省资源，但每次推理都要加载原始模型+适配器，略显麻烦。我们可以把LoRA权重“融合”进原模型，变成一个全新的、完整的模型。

方法①：推理时自动合并（推荐）

CUDA_VISIBLE_DEVICES=0 \ swift infer \ --adapters output/vx-xxx/checkpoint-xxx \ --merge_lora true \ --infer_backend vllm \ --vllm_max_model_len 8192 \ --max_new_tokens 2048

加上--merge_lora true参数后，系统会在CPU或GPU上动态合并权重，并使用vLLM加速推理，响应更快。

方法②：单独导出合并后的模型

如果你希望永久保存这个新模型，可以用export命令：

CUDA_VISIBLE_DEVICES=0 \ swift export \ --ckpt_dir output/vx-xxx/checkpoint-xxx \ --merge_lora true \ --output_dir ./my_swift_robot

执行完毕后，./my_swift_robot文件夹中就会包含一个完整的大模型，可以直接用于Hugging Face生态或其他推理平台。

4.3 方式三：一键部署为Web服务

想让别人也能访问你的AI助手？ms-swift提供了极简部署方案。

启动API服务：

CUDA_VISIBLE_DEVICES=0 \ swift deploy \ --model Qwen/Qwen2.5-7B-Instruct \ --adapters output/vx-xxx/checkpoint-xxx \ --infer_backend vllm \ --host 0.0.0.0 \ --port 8080

或者使用Web UI界面：

swift web-ui

浏览器打开http://localhost:7860，就能看到图形化对话界面，拖拽上传、连续对话、多轮记忆全都支持。

5. 更进一步：如何定制更多个性化行为？

上面的例子只是起点。ms-swift的强大之处在于，你可以轻松扩展它的“个性”。

5.1 修改系统提示词（System Prompt）

默认系统提示是：

You are a helpful assistant.

你可以在训练时修改--system参数来赋予它不同角色：

--system "You are a senior Python engineer, always write clean, documented code."

或者：

--system "You are a creative writer, use vivid language and metaphors in every response."

这样训练出来的模型，自然就会以程序员或作家的身份思考问题。

5.2 添加自定义数据集，教会它专属知识

假设你想让它掌握公司内部术语或产品信息，只需准备一份JSONL格式的数据集：

{"instruction": "我们公司的主打产品是什么？", "output": "我们的主打产品是星图AI平台，提供一站式模型训练与部署服务。"} {"instruction": "如何申请试用账号？", "output": "请联系 sales@starai.com，提供企业邮箱即可开通7天免费试用。"}

然后在训练命令中加入：

--dataset /path/to/my_company_knowledge.jsonl

重新训练后，它就成了懂业务的“内部专家”。

6. 性能优化技巧：让训练更快、推理更稳

即使有ms-swift加持，我们也需要一些技巧来最大化效率。

6.1 显存不够怎么办？

• 使用QLoRA替代 LoRA：添加--quant_method bnb可将显存降至10GB以下。
• 开启梯度累积：--gradient_accumulation_steps 16可模拟更大batch size。
• 减小--max_length：如果不是处理长文本，设为1024即可。

6.2 如何提升推理速度？

• 使用vLLM或SGLang作为推理后端，吞吐量可提升3~5倍。
• 合并LoRA后使用PagedAttention管理KV缓存，减少内存碎片。
• 多卡环境下设置--tensor_parallel_size 2实现张量并行。

6.3 多机训练怎么做？

对于百亿级以上模型，可以结合Megatron-SWIFT模块使用TP/PP/DP混合并行：

NPROC_PER_NODE=8 \ swift sft \ --model Qwen/Qwen-72B \ --train_type lora \ --deepspeed zero3 \ --tp 4 --pp 2 \ ...

7. 总结：从脚本到专属AI，就这么简单

通过本文的实践，你应该已经体会到ms-swift的强大与便捷：

• 一条命令完成微调：无需写代码，参数清晰，开箱即用。
• LoRA轻量高效：普通显卡也能玩转7B级模型。
• 自我认知训练：让模型记住“我是谁”，实现真正的个性化。
• 推理→合并→部署一体化：全流程打通，适合落地生产环境。
• 支持Web UI零门槛操作：非技术人员也能参与模型定制。

更重要的是，这一切都不需要你成为深度学习专家。只要你有一台带GPU的机器，就能亲手打造出属于自己的AI助手。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。