从SAS到NVMe-oF：手把手带你搭建一套基于Ubuntu 22.04和RDMA的NVMe over TCP测试环境
从SAS到NVMe-oF：手把手带你搭建一套基于Ubuntu 22.04和RDMA的NVMe over TCP测试环境
在存储技术快速迭代的今天，NVMe over Fabrics（NVMe-oF）正逐渐成为高性能存储网络的代名词。相比传统的SAS和SATA接口，NVMe协议通过PCIe直连大幅提升了存储性能，而NVMe-oF则进一步将这些优势扩展到了网络存储领域。本文将带你从零开始，在一台普通的x86服务器上搭建NVMe over TCP测试环境，无需昂贵的专用硬件，仅凭标准的以太网卡即可体验这项前沿技术。
1. 环境准备与系统配置
1.1 硬件与操作系统要求
搭建NVMe over TCP测试环境对硬件要求相对友好，以下是推荐配置：
服务器：至少两台x86架构机器（可物理机或云主机）
- CPU：建议4核以上
- 内存：8GB以上
- 存储：至少一块NVMe SSD（用于target端）
- 网络：普通以太网卡（建议10Gbps及以上）
操作系统：Ubuntu 22.04 LTS（本文所有命令基于此版本）
提示：虽然NVMe over RDMA性能更优，但需要支持RDMA的网卡。NVMe over TCP对硬件无特殊要求，是入门体验NVMe-oF的理想选择。
1.2 系统基础配置
首先在两台机器上执行系统更新：
sudo apt update && sudo apt upgrade -y安装必要的工具链：
sudo apt install -y git build-essential linux-headers-$(uname -r)检查内核版本（需5.0以上）：
uname -r2. NVMe-oF软件栈安装与配置
2.1 内核模块加载
NVMe over TCP需要以下内核模块：
sudo modprobe nvme sudo modprobe nvme-tcp sudo modprobe nvmet sudo modprobe nvmet-tcp将模块加入开机自动加载：
echo "nvme" | sudo tee -a /etc/modules echo "nvme-tcp" | sudo tee -a /etc/modules echo "nvmet" | sudo tee -a /etc/modules echo "nvmet-tcp" | sudo tee -a /etc/modules2.2 NVMe管理工具安装
安装nvme-cli工具包：
sudo apt install -y nvme-cli验证安装：
nvme list3. Target端配置（存储服务器）
3.1 创建NVMe命名空间
首先识别NVMe设备：
lsblk -d -o NAME,MODEL,SIZE | grep nvme假设设备为/dev/nvme0n1，创建命名空间：
sudo nvme create-ns /dev/nvme0n1 -s 1000000000 -c 1000000000 -f 03.2 配置NVMe over TCP Target
创建target目录结构：
sudo mkdir /sys/kernel/config/nvmet/subsystems/nvme-test cd /sys/kernel/config/nvmet/subsystems/nvme-test配置子系统参数：
echo 1 | sudo tee -a attr_allow_any_host > /dev/null创建命名空间并附加设备：
sudo mkdir namespaces/1 cd namespaces/1 echo -n /dev/nvme0n1 | sudo tee -a device_path > /dev/null echo 1 | sudo tee -a enable > /dev/null配置端口：
sudo mkdir /sys/kernel/config/nvmet/ports/1 cd /sys/kernel/config/nvmet/ports/1 echo "127.0.0.1" | sudo tee -a addr_traddr > /dev/null echo tcp | sudo tee -a addr_trtype > /dev/null echo 4420 | sudo tee -a addr_trsvcid > /dev/null echo ipv4 | sudo tee -a addr_adrfam > /dev/null链接子系统和端口：
sudo ln -s /sys/kernel/config/nvmet/subsystems/nvme-test /sys/kernel/config/nvmet/ports/1/subsystems/nvme-test3.3 防火墙配置
允许4420端口通信：
sudo ufw allow 4420/tcp4. Initiator端配置（客户端）
4.1 发现Target存储
在客户端机器上执行发现命令：
sudo nvme discover -t tcp -a 192.168.1.100 -s 4420注意：将192.168.1.100替换为你的target服务器实际IP地址。
4.2 连接Target存储
连接发现的存储：
sudo nvme connect -t tcp -n nvme-test -a 192.168.1.100 -s 4420验证连接：
nvme list你应该能看到类似这样的输出：
Node SN Model Namespace Usage Format FW Rev ---------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- -------- /dev/nvme0n1 ABCDEFG123456 Linux 1 1.00 GB / 1.00 GB 512 B + 0 B 5.10.05. 性能测试与优化
5.1 FIO基准测试
安装fio工具：
sudo apt install -y fio创建4K随机读测试：
fio --name=randread --ioengine=libaio --iodepth=32 --rw=randread --bs=4k --direct=1 --size=1G --numjobs=4 --runtime=60 --group_reporting --filename=/dev/nvme1n1关键参数说明：
| 参数 | 说明 |
|---|---|
| --iodepth | IO队列深度 |
| --rw | 读写模式 |
| --bs | 块大小 |
| --direct | 绕过缓存 |
| --numjobs | 并发线程数 |
5.2 性能优化建议
网络优化：
- 启用巨帧（MTU 9000）
- 使用高性能网络设备
系统参数调整：
echo "vm.dirty_ratio = 10" | sudo tee -a /etc/sysctl.conf echo "vm.dirty_background_ratio = 5" | sudo tee -a /etc/sysctl.conf sudo sysctl -p多路径配置：
sudo apt install -y multipath-tools sudo systemctl enable multipathd sudo systemctl start multipathd
6. 实际应用场景与注意事项
6.1 典型应用场景
- 数据库加速：MySQL、PostgreSQL等关系型数据库
- 虚拟化存储：KVM、VMware等虚拟化平台
- 容器持久化存储：Kubernetes PV/PVC
- AI/ML训练：大规模数据集快速访问
6.2 常见问题排查
问题1：连接时出现"Invalid argument"错误
解决方案：
# 检查target端服务是否运行 lsmod | grep nvmet_tcp # 检查端口监听状态 sudo ss -tulnp | grep 4420问题2：性能低于预期
排查步骤：
- 检查网络带宽利用率
- 验证SSD本地性能
- 检查CPU使用率（特别是软中断）
6.3 维护与管理命令
常用管理命令速查表：
| 命令 | 功能 |
|---|---|
nvme list | 列出所有NVMe设备 |
nvme disconnect-all | 断开所有NVMe-oF连接 |
nvme disconnect -n <设备名> | 断开指定设备 |
| `dmesg | grep nvme` |
7. 进阶：RDMA加速配置（可选）
对于支持RDMA的硬件环境，可以通过以下步骤升级到NVMe over RDMA：
7.1 安装RDMA驱动
sudo apt install -y rdma-core ibverbs-utils7.2 配置NVMe over RDMA Target
sudo modprobe nvme-rdma echo "nvme-rdma" | sudo tee -a /etc/modules修改端口配置：
cd /sys/kernel/config/nvmet/ports/1 echo rdma | sudo tee addr_trtype > /dev/null echo 4420 | sudo tee addr_trsvcid > /dev/null7.3 Initiator端连接
sudo nvme connect -t rdma -n nvme-test -a 192.168.1.100 -s 4420在实际测试中，NVMe over RDMA通常能比TCP版本降低30-50%的延迟，提升20%以上的吞吐量。不过正如我们在性能测试部分看到的，即使是NVMe over TCP，其性能也已经远超传统的iSCSI方案。