从零构建VMware vSAN集群：整合多主机磁盘实现超融合存储

1. 项目概述：为什么我们需要整合多主机磁盘？

如果你管理过几台独立的ESXi主机，肯定遇到过这样的场景：每台服务器都插着几块硬盘，有的跑虚拟机，有的闲置着。当某台主机的存储快满了，你不得不手动迁移虚拟机，或者看着另一台主机上的空闲磁盘空间干瞪眼。这种“数据孤岛”不仅管理麻烦，资源利用率也低得可怜。而“ESXi vSAN 整合多主机磁盘”这个项目，就是为了彻底解决这个问题。

简单来说，vSAN（Virtual SAN）是VMware内置于ESXi内核的一个分布式存储解决方案。它的核心思想，就是把集群里所有主机上的本地磁盘（包括SSD和HDD）都“池化”成一个大的、统一的共享存储资源池。对于运行在上层的虚拟机而言，它们看到的就不再是某一块具体的物理磁盘，而是一个高性能、高可用的虚拟数据存储。这就像把多台服务器各自的“小仓库”打通，变成了一个巨大的“自动化立体仓储中心”，虚拟机可以随时、随地从这个中心里存取数据，而无需关心数据具体放在哪台服务器的哪块盘上。

这个项目非常适合那些希望从传统集中式存储（SAN/NAS）转向超融合架构的中小规模环境，或者任何需要构建低成本、易管理、可扩展的共享存储的场景。通过本文，我将带你从零开始，一步步拆解如何规划和实施一个vSAN集群，把多台ESXi主机的磁盘真正“拧成一股绳”。

2. 核心架构与设计思路拆解

在动手之前，我们必须先理解vSAN的“游戏规则”。盲目上马只会导致性能不佳或配置错误。vSAN的架构设计围绕着几个核心概念展开，理解它们是成功的关键。

2.1 vSAN的存储策略驱动模型

这是vSAN最精妙的设计之一，也是与传统存储最大的不同。在传统存储里，你通常需要为整个LUN或数据存储设置统一的RAID级别（如RAID5或RAID10）。而在vSAN中，数据保护和服务质量是以“存储策略”的形式，按虚拟机或虚拟磁盘（VMDK）来定义的。

这意味着，你可以为运行核心数据库的虚拟机定义一个要求“双副本+闪存缓存”的高可用策略，同时为一个测试用的虚拟机定义一个“单副本+容量层存储”的成本节约策略。这些策略会在虚拟机部署或修改时，由vSAN自动强制执行。这种细粒度的控制，使得资源分配无比灵活。

2.2 磁盘组的核心角色

磁盘组是vSAN架构中的基本管理单元。它由至少一块闪存设备（用于缓存层）和一块或多块容量设备（用于持久化存储数据）组成。缓存层设备（通常是高性能NVMe或SAS SSD）负责吸收所有的写入IO，并缓存热读数据；容量层设备（可以是SSD或HDD）则用于持久化存储数据副本。

一个重要的设计准则是：vSAN的故障域是以磁盘组为边界的。如果一块容量盘故障，vSAN会重建该盘上所有数据到同磁盘组内的其他容量盘。但如果缓存盘故障，整个磁盘组都会失效，该磁盘组上的所有数据都需要从其他主机的副本进行重建。因此，缓存盘的选择至关重要，必须使用企业级、高耐久度的SSD。

2.3 网络要求：万兆是起点

vSAN对网络有严格且明确的要求。所有参与vSAN集群的主机，必须通过一个专用于vSAN流量的网络相互连接。这个网络需要：

1. 带宽：至少万兆（10GbE）。这是生产环境的硬性门槛。千兆网络无法满足vSAN同步复制和重建的流量需求，会导致性能极差甚至超时故障。
2. 延迟：建议低于1毫秒。较高的网络延迟会直接影响虚拟机IO性能。
3. 冗余：强烈建议使用至少两个物理网卡进行链路聚合（LACP）或配置基于物理网卡的路由容错，以避免单点故障。

许多初次部署的失败，根源都在于网络不达标。不要试图在千兆网络或高延迟的跨机房链路上部署vSAN。

2.4 集群规模与主机数量

vSAN要求至少3台提供存储的主机（用于满足副本放置策略），最多可支持64台主机。一个经典的起步配置是“3+1”或“4+1”：即3或4台主机提供存储和计算，外加一台仅作为计算节点（不贡献存储）的主机，用于提供额外的计算资源或在维护时迁出虚拟机。

注意：vSAN集群中所有主机的硬件配置（特别是CPU型号和内存）不需要完全一致，但差异过大会影响vSphere DRS（分布式资源调度）的效率。磁盘控制器则强烈建议使用vSAN兼容列表中的型号，以避免潜在的驱动或性能问题。

3. 实施前的关键准备工作

兵马未动，粮草先行。一次顺利的vSAN部署，90%取决于准备工作是否充分。

3.1 硬件兼容性校验

这是绝对不能跳过的步骤。访问VMware的官方兼容性指南（VMware Compatibility Guide），严格核对以下组件：

• 服务器型号：确认你的服务器品牌和型号在vSAN兼容列表中。
• 磁盘控制器（HBA/Raid卡）：这是重中之重。控制器必须工作在“直通模式”（如HBA模式）或支持“RAID0模式”。严禁使用不支持直通或RAID0的RAID卡来配置vSAN，因为vSAN需要直接管理物理磁盘。常见的兼容控制器有LSI SAS3008系列（HBA模式）、Dell PERC H系列（HBA模式）等。
• 磁盘和闪存设备：检查你计划使用的SSD（缓存盘）和HDD/SSD（容量盘）是否在兼容列表中。兼容列表确保了设备的性能、稳定性和寿命监控功能能被vSAN正确识别。
• 网卡：确保万兆网卡及其驱动版本兼容。

3.2 网络规划与配置

为vSAN创建一个独立的、隔离的网络段。例如，你可以规划一个10.10.10.0/24的网段专门用于vSAN流量。

1. 物理连接：每台主机至少用两个万兆端口连接到vSAN专用交换机。建议使用两台交换机做堆叠或MLAG，实现网络冗余。
2. vSphere标准交换机配置：在每台ESXi主机上，创建一个新的vSwitch（如vSwitch-vSAN）。为该vSwitch分配两个物理网卡（vmnic2, vmnic3）。然后，创建一个端口组，将VLAN ID（如果有）和MTU设置为9000（巨型帧）。启用巨型帧能显著提升大块数据同步的效率，但请确保网络中所有设备（交换机、ESXi主机）的MTU设置一致。
3. VMkernel适配器：在上述端口组上，为每台主机添加一个VMkernel适配器，选择“vSAN流量”服务，并配置规划好的IP地址（如Host1: 10.10.10.101, Host2: 10.10.10.102）。

3.3 磁盘识别与模式确认

在ESXi主机控制台或通过SSH登录，使用命令esxcli storage core device list查看所有磁盘设备。确认磁盘已被系统识别，并且其驱动来自vmw_ahci或vmw_sas等原生驱动，而不是第三方RAID卡驱动伪装成的单个“磁盘”。

最关键的一步是确认磁盘控制器模式。通过iDRAC/iLO或BIOS进入磁盘控制器配置界面，将其模式从“RAID”改为“HBA”或“Non-RAID”。更改后，在ESXi中看到的应该是一块块的“本地磁盘”，而不是一个大的RAID卷。

4. 逐步构建vSAN集群实操

假设我们已经有三台配置相同的ESXi主机（esxi01, esxi02, esxi03），并完成了上述所有准备工作。下面开始集群构建。

4.1 创建vSphere集群并启用功能

首先，我们需要在vCenter Server中创建一个空集群。

1. 登录vCenter，右键数据中心，选择“新建集群”。
2. 为集群命名（如VSAN-Cluster），并勾选两个核心功能：
   • vSphere DRS：启用并设置为“全自动”，这能让虚拟机在主机间自动负载均衡。
   • vSphere HA：启用，提供主机故障时虚拟机的自动重启保护。
3. 将三台ESXi主机拖入这个新建的集群中。

4.2 配置vSAN网络

这是确保主机间能正常通信的步骤。

1. 依次检查每台主机的网络配置。导航到“配置”->“网络”->“VMkernel适配器”。
2. 找到你之前为vSAN创建的VMkernel适配器（如vmk2），确保其“已启用的服务”中包含“vSAN”。
3. 使用vSAN网络IP互相ping测试，确保三台主机间网络互通且延迟极低。

4.3 初始化vSAN并创建磁盘组

现在进入核心环节——开启vSAN并添加磁盘。

1. 在vCenter中，进入集群视图，点击“配置”->“vSAN”->“服务”。
2. 点击“配置”按钮，选择“单站点集群”（这是我们最常见的部署模式）。
3. 在“声明磁盘”步骤，系统会自动列出所有可用的未使用磁盘。这里你需要为每台主机手动创建磁盘组。
   • 对于每台主机，从“闪存磁盘”列中，选择一块高性能SSD作为缓存层。
   • 然后，从“容量磁盘”列中，选择一块或多块HDD或SSD作为容量层。将它们与刚才选择的缓存盘关联到同一个磁盘组。
   • 点击“创建磁盘组”的按钮。为每台主机重复此操作。
4. 确认磁盘组配置无误后，完成向导。vSAN服务将开始初始化，这个过程包括格式化磁盘、创建分布式文件系统等，可能需要几分钟到几十分钟，取决于磁盘数量和大小。

实操心得：在声明磁盘时，建议为每台主机创建完全对称的磁盘组（例如，每台都是1块缓存盘+2块容量盘）。这种对称配置能最大化利用vSAN的分布式特性，避免出现性能或容量瓶颈。此外，在创建磁盘组后，不要立即进行大量IO操作，给vSAN一些时间完成后台初始化。

4.4 创建并应用存储策略

vSAN初始化完成后，你会看到一个名为vsanDatastore的数据存储。但此时它的能力还未被定义。我们需要创建存储策略。

1. 导航到“策略和配置文件”->“虚拟机存储策略”。
2. 点击“创建”，命名策略为“双副本-RAID1”。
3. 在“规则集1”中，添加规则：
   • 规则1：“允许的故障数”设置为1。这意味着一份数据将保存2个副本（FTT=1）。
   • 规则2：“每个对象的磁盘带数”保持默认1。对于大多数场景，这已足够。
   • 规则3：“闪存读取缓存预留”可以设置为0%，除非有明确的性能需求。vSAN会自动管理读缓存。
4. 保存策略。
5. 现在，当你在这个集群里创建新虚拟机，或在现有虚拟机上右键选择“虚拟机策略”->“编辑虚拟机存储策略”时，就可以选择这个“双副本-RAID1”策略。vSAN会自动确保该虚拟机的数据满足跨两台主机存放两个副本的要求。

5. 日常运维与性能监控要点

vSAN部署完成只是开始，持续的监控和恰当的运维才能保证其稳定高效运行。

5.1 关键性能指标监控

不要只盯着数据存储的剩余容量。在vCenter的集群“监控”->“vSAN”标签页下，关注这些核心指标：

• 性能：查看“后端延迟”（物理磁盘延迟）和“前端延迟”（虚拟机感知到的延迟）。如果后端延迟持续过高（如HDD超过20ms），可能是容量层磁盘性能瓶颈。
• 容量：不仅要看整体使用率，更要关注“已用容量”与“已配置容量”的区别。“已配置容量”包含了副本和校验带来的开销。一个显示使用率70%的数据存储，其物理空间使用率可能已经超过85%。
• 运行状况：vSAN内置的健康服务会检查网络、磁盘、集群状态等数十个项目。务必定期查看并解决所有告警（红色）和警告（黄色）。

5.2 磁盘故障处理流程

当一块容量磁盘故障时（在vSAN中显示为“已降级”或“不存在”），处理流程如下：

1. 确认故障：在“vSAN”->“物理磁盘”视图中确认故障磁盘及其所属主机。
2. 物理更换：在主机上物理更换故障硬盘。确保新硬盘容量不小于旧盘，且最好是相同或更高型号。
3. 声明新磁盘：新磁盘上线后，在ESXi存储设备中会显示为“未使用”。你需要手动将其添加到原有的磁盘组中。导航到主机的“配置”->“vSAN”->“磁盘管理”，选择故障磁盘所在的磁盘组，点击“添加磁盘”操作，将新磁盘作为容量设备加入。
4. 数据重建：添加后，vSAN会自动开始将丢失的副本数据重建到新磁盘上。你可以在“监控”->“vSAN”->“重新同步组件”中观察进度。重建期间会对集群性能和网络带来额外压力，建议在业务低峰期进行。

5.3 主机维护模式操作

当需要对某台vSAN主机进行硬件维护或升级时，必须使用正确的维护模式。

1. 右键点击主机，选择“进入维护模式”。
2. 关键选择：系统会弹出选项“确保可访问性”或“无数据迁移”。
   • 确保可访问性（默认且推荐）：vSAN会将该主机上存储的所有数据组件（副本）迁移到集群中的其他主机上。这保证了维护期间数据的完整可用性，但会引发大规模数据迁移，耗时较长。
   • 无数据迁移：数据仍保留在该主机上，但虚拟机必须关机。仅当维护时间极短，且可以接受相关虚拟机停机时使用。
3. 选择“确保可访问性”，等待数据迁移完成，主机状态变为“维护模式”后，即可安全地进行硬件操作。
4. 维护结束后，退出维护模式，vSAN可能会将部分数据迁回，以恢复负载均衡。

6. 常见问题与故障排查实录

即使规划得再周全，在生产中仍可能遇到问题。以下是我在实践中遇到的几个典型场景及其解决方法。

6.1 问题：vSAN集群分区（网络脑裂）

现象：集群中部分主机显示“已断开连接”或“未响应”，vSAN数据存储可能变为不可访问，虚拟机可能宕机。原因：这是最严重的问题之一，通常由网络故障引起。例如，vSAN专用交换机的上行链路故障，导致集群被分割成两个或多个无法通信的网络分区。排查与解决：

1. 立即检查物理网络：确认交换机、网线、网卡状态。这是最快可能找到根因的地方。
2. 检查VMkernel适配器：在每台主机上使用esxcli network ip connection list查看vSAN VMkernel端口的连接状态。使用vmkping命令测试主机间vSAN IP的连通性和延迟。
3. 查看vSAN集群状态：在vCenter的“vSAN运行状况”中，检查“集群”->“网络分区”告警。
4. 恢复：修复网络物理连接后，分区通常会自动愈合。如果未自动恢复，可能需要手动将“孤立”的主机从集群中移除再重新添加（此操作风险高，需谨慎并在VMware支持指导下进行）。

避坑技巧：为vSAN网络配置至少两个独立的物理交换机和网卡，并启用网络I/O控制（NIOC）为vSAN流量预留带宽，可以极大降低网络分区风险。

6.2 问题：磁盘组降级或脱机

现象：在“磁盘管理”中，某个磁盘组显示为“已降级”（黄色）或“脱机”（红色）。原因：

• 缓存设备故障：导致整个磁盘组失效。
• 容量设备故障超过容忍度：例如，一个包含两块容量盘的磁盘组，若设置FTT=1（即双副本），当一块盘故障时状态为“已降级”；若两块都故障，则可能“脱机”。
• 控制器或线缆问题：导致磁盘暂时或永久丢失。排查与解决：

1. 检查ESXi主机硬件日志（通过iLO/iDRAC或esxcli hardware命令），确认是否有磁盘SMART错误或控制器报警。
2. 在ESXi命令行，使用esxcli vsan storage list查看磁盘的详细状态和错误信息。
3. 如果是物理磁盘故障，参照第5.2节的流程进行更换。
4. 如果是缓存盘故障导致磁盘组脱机，情况更复杂。你需要联系VMware支持，因为可能涉及数据恢复。切勿在未明确故障原因前，随意移除或重新声明磁盘。

6.3 问题：虚拟机存储策略合规性失败

现象：虚拟机存储策略显示“不合规”，或在部署虚拟机时提示“无法应用存储策略”。原因：

• 集群资源不足：例如，策略要求FTT=1（双副本），但集群只有两台主机提供存储，无法将两个副本放在不同的主机上。
• 磁盘空间不足：数据存储的剩余物理空间不足以创建新的副本或对象。
• 网络问题：导致vSAN无法在主机间放置组件。排查与解决：

1. 首先检查vSAN数据存储的“容量”视图，确认是否有足够的可用空间。
2. 检查集群中“提供存储”的主机数量是否满足策略要求（FTT=1至少需要3台）。
3. 在虚拟机的“监控”->“vSAN”->“虚拟对象”视图中，查看该虚拟机各个磁盘（对象）的详细状态和放置情况，看是否有组件处于“已降级”或“无法访问”状态。
4. 如果是不合规的虚拟机，可以尝试右键点击它，选择“虚拟机策略”->“应用存储策略”，强制vSAN重新尝试满足策略要求。

6.4 性能调优初步建议

如果感觉虚拟机IO性能不如预期，可以从以下几点入手：

1. 检查缓存盘利用率：缓存盘是性能的生命线。如果缓存盘利用率长期高于80%，说明它已成为瓶颈，需要考虑升级更高性能或更大容量的缓存SSD。
2. 审视存储策略：过高的“允许的故障数”（如FTT=2需要3个副本）或“每个对象的磁盘带数”（如设置为2以上）会显著增加写入放大，消耗更多缓存和网络资源。非关键业务虚拟机可适当降低策略要求。
3. 启用去重和压缩：如果容量层是全闪存（All-Flash），强烈建议启用去重和压缩。这能节省大量空间，且对性能影响很小（现代CPU足以处理）。但混合架构（Hybrid）不支持此功能。
4. 监控网络吞吐量和丢包：使用vCenter的性能图表或ESXTOP命令（按n键查看网络），监控vSAN VMkernel适配器的吞吐量和是否有丢包。网络瓶颈会直接表现为高延迟。

整合多台ESXi主机的本地磁盘构建vSAN，是一个将分散资源转化为高效、弹性企业级存储池的过程。它消除了传统共享存储的单点故障和扩展瓶颈，但其成功高度依赖于前期的严谨规划（硬件兼容性、网络设计）和后期对分布式系统特性的理解（存储策略、故障域）。从我自己的经验来看，最大的教训往往来自对“软要求”的忽视，比如网络延迟和控制器模式。一旦基础打牢，vSAN带来的运维简化和管理效率提升将是革命性的。当你看到虚拟机可以在集群内无感知地迁移，存储空间可以像云一样按需扩展时，就会觉得这一切的细致准备都是值得的。最后一个小建议：在生产环境全面承载业务前，务必建立一个包含2-3台主机的测试集群，模拟磁盘故障、主机宕机等场景，完整走一遍恢复流程，这会让你在真正面对问题时充满信心。