华为云ModelArts：零基础实战，从OBS存储到JupyterLab模型训练
1. 为什么选择华为云ModelArts？
最近在跑深度学习模型时，发现自己的笔记本显卡根本扛不住。16G内存的机器跑个BERT模型直接卡死，更别说训练大型图像模型了。看了看显卡价格，RTX 3090都快赶上我一个月工资了。正当发愁时，同事推荐了华为云的ModelArts服务。
ModelArts最吸引我的是它提供的免费算力资源：56G内存加上Tesla P100 16G显卡，这配置比我笔记本强了不止一个档次。而且整个使用过程基本零成本，只需要注册华为云账号就能用。不过第一次使用时确实踩了不少坑，比如AK/SK配置错误、文件格式不对、自动关闭没保存等问题。下面我就把完整的实战经验分享给大家，让你少走弯路。
2. 前期准备工作
2.1 注册与实名认证
首先需要注册华为云账号，这个过程很简单：
- 访问华为云官网，点击注册
- 填写手机号、验证码等基本信息
- 完成企业或个人实名认证（建议用个人认证，流程更简单）
实名认证一般1-2个工作日内完成。认证通过后，登录控制台，在服务列表中找到ModelArts服务。这里有个小技巧：建议同时开通OBS服务，因为ModelArts的数据存储依赖OBS。
2.2 了解费用情况
虽然ModelArts提供免费算力，但有些服务是收费的：
- OBS存储服务：按使用量计费，1GB数据每月约0.12元
- 模型训练：免费额度用完后按小时计费
- 其他增值服务：如自动学习等
建议先充值10元左右，避免因欠费导致服务中断。我在使用时就是因为没注意余额，结果训练到一半被强制停止了。
3. 数据准备与上传
3.1 创建OBS存储桶
OBS是华为云的对象存储服务，相当于一个云盘。使用步骤如下：
- 在华为云控制台搜索"OBS"
- 点击"创建桶"，桶名称要全局唯一
- 地区选择离你最近的（如华北-北京四）
- 其他参数保持默认即可
创建完成后，建议下载OBS Browser+客户端，比网页版上传更方便。
3.2 使用OBS Browser+上传数据
安装OBS Browser+后，需要用AK/SK方式登录：
- 在华为云账号的"我的凭证"中获取AK/SK
- 打开OBS Browser+，选择"AK/SK登录"
- 输入AK、SK和自定义账号名（任意即可）
上传数据时要注意：
- 压缩包必须用zip格式，rar格式在ModelArts中无法直接解压
- 建议将数据集放在单独的文件夹中
- 大文件上传可能会中断，可以用分段上传功能
我曾经因为用了rar格式，不得不重新上传所有数据，浪费了两个小时。
4. 创建Notebook环境
4.1 选择计算资源
回到ModelArts控制台：
- 点击"开发环境"→"Notebook"
- 点击"创建"，选择"GPU免费"规格
- 镜像选择"TensorFlow 1.8"（根据你的框架需求选择）
- 其他参数保持默认
这里有个坑：免费资源有限，可能会遇到资源不足的情况。建议早上8点前创建，成功率更高。
4.2 启动JupyterLab
创建完成后，点击"打开JupyterLab"，你会看到一个熟悉的界面。主要用到两个功能：
- Notebook：类似本地的Jupyter Notebook
- Terminal：完整的Linux终端
第一次启动可能需要2-3分钟。如果长时间卡在启动界面，可以尝试刷新页面。
5. 数据同步与模型训练
5.1 从OBS同步数据
在Notebook中执行以下代码同步OBS数据：
import moxing as mox mox.file.copy_parallel('obs://your-bucket-name/dataset/', '/home/ma-user/work')这段代码会把OBS中的数据复制到Notebook的工作目录。注意路径要替换成你自己的OBS路径。
5.2 开始模型训练
数据同步完成后，就可以像在本地一样运行代码了。几个实用技巧：
- 在Terminal中可以用
pip install安装额外依赖 - 训练过程中记得定期保存checkpoint
- 输出文件建议先保存在工作目录，再同步回OBS
训练大型模型时，建议使用以下代码定期保存进度：
import os from datetime import datetime def save_to_obs(local_path, obs_path): if not os.path.exists(local_path): os.makedirs(local_path) mox.file.copy_parallel(local_path, obs_path) # 每30分钟保存一次 if current_step % 30 == 0: save_to_obs('/home/ma-user/work/checkpoints', 'obs://your-bucket-name/checkpoints/{}'.format(datetime.now().strftime("%Y%m%d_%H%M")))6. 常见问题与解决方案
6.1 自动关闭问题
ModelArts的免费Notebook每小时会自动关闭。解决方法：
- 训练前保存所有代码和数据
- 使用cron定时任务定期保存中间结果
- 重新打开后，运行
jupyter notebook list获取新的token
我后来写了个简单的监控脚本，在关闭前自动保存所有数据：
#!/bin/bash while true; do sleep 45m echo "Auto saving..." mox.file.copy_parallel('/home/ma-user/work', 'obs://your-bucket-name/backup') done6.2 依赖安装问题
在Terminal中安装Python包时，建议：
- 使用
--user参数避免权限问题 - 对于复杂环境，导出requirements.txt
- 遇到编译错误时，尝试使用预编译的whl文件
例如安装TensorFlow Addons：
pip install --user tensorflow-addons7. 最佳实践建议
经过多次实践，我总结出几个提高效率的方法：
- 将常用代码封装成脚本，放在OBS中随时调用
- 使用华为云提供的SDK监控资源使用情况
- 训练大型模型时，先在小样本上测试代码
- 合理利用Terminal的多窗口功能
例如，可以同时打开两个Terminal窗口，一个运行训练脚本，另一个监控GPU状态：
# 窗口1 python train.py # 窗口2 watch -n 1 nvidia-smi最后提醒一点：虽然ModelArts很强大，但免费资源有限。如果是长期项目，建议了解下付费方案，或者考虑使用其他云平台的免费额度。我在完成一个NLP项目后，发现华为云、阿里云和AWS的免费资源可以轮换使用，这样能最大化利用各平台的优惠。