AIX系统硬盘更换实战：LVM架构解析与零停机迁移指南

1. 项目背景与核心挑战

最近在维护一套运行在IBM AIX系统上的老旧关键业务时，遇到了一个典型的运维难题：一块硬盘的SMART监控发出了预警。对于任何依赖物理服务器的环境来说，硬盘故障都是悬在头顶的达摩克利斯之剑，而在AIX小机（通常指IBM Power Systems服务器）这种承载核心数据库或交易系统的平台上，更换硬盘更是一项需要极度谨慎的操作。这不仅仅是“拔掉坏的，插上新的”那么简单，它涉及到AIX特有的逻辑卷管理（LVM）体系、可能的镜像（Mirror）配置、以及如何在不中断业务或最小化中断时间的情况下完成数据迁移和恢复。

很多从x86 Linux环境转过来的工程师，初次接触AIX的存储管理可能会觉得有些陌生。AIX的LVM（Logical Volume Manager）设计非常强大和灵活，但它的概念和命令与Linux LVM有显著不同。例如，AIX中物理卷（PV）、卷组（VG）、逻辑卷（LV）和文件系统的关系，以及mirrorvg、unmirrorvg、migratepv等命令的使用，是安全更换硬盘的基石。这次更换的目标，就是在确保数据完整性和系统高可用的前提下，将故障盘从系统中安全剥离，并用新盘替代其所有功能。整个过程就像给一台高速行驶的汽车更换轮胎，我们必须有可靠的备用方案和精准的操作步骤。

2. AIX存储架构与更换前深度诊断

在动手之前，必须彻底理解当前系统的存储布局和故障盘的具体角色。盲目操作是数据丢失和系统宕机的首要原因。

2.1 理解AIX LVM核心组件

AIX的存储管理是一个层次化的结构：

1. 物理卷（Physical Volume, PV）：就是实际的硬盘（如FC-SAN磁盘、SSD）。在AIX中，需要先用mkdev或cfgmgr识别磁盘，然后用chdev或mkvg命令将其初始化为PV（实际上在创建VG时会自动初始化）。
2. 卷组（Volume Group, VG）：一个或多个PV的集合，是存储池。AIX有不同版本的VG（如Original, Big, Scalable），决定了支持的最大PV数和LV数。
3. 物理分区（Physical Partition, PP）：VG被划分成大小固定的PP（如128MB、256MB），这是空间分配的基本单位。
4. 逻辑卷（Logical Volume, LV）：在VG上创建的、由多个PP组成的逻辑设备，相当于Linux的LV。它可以被格式化成文件系统（如JFS2），或作为裸设备使用（如数据库表空间）。
5. 逻辑分区（Logical Partition, LP）：LV由LP组成。在非镜像情况下，一个LP映射到一个PP；在镜像情况下，一个LP会映射到多个PP（副本）。

关键命令：lspv可以列出所有PV及其状态、所属VG、包含的PP数量等信息。

2.2 定位故障盘并评估影响

假设我们通过HMC（Hardware Management Console）或AIX系统错误日志（errpt）收到了硬盘故障预警。第一步是精确找到这块盘在AIX系统中的标识符。

1. 查看磁盘状态：

   lspv

   输出类似：

   hdisk0 00c0ff0e12345678 rootvg active hdisk1 00c0ff0e87654321 datavg active hdisk2 00c0ff0eabcdef01 datavg active

   我们需要找出状态异常的那块盘。有时故障盘可能显示为missing或removed状态。

2. 确认故障盘详细信息：

   lspv hdiskX （将X替换为疑似故障盘编号，如hdisk2）

   这个命令会详细列出该PV的PP分布情况，以及它上面有哪些LV。

3. 检查该盘所属卷组的镜像情况：

   lsvg -l datavg （假设故障盘在datavg中）

   查看LV的“LP”和“PP”数量。如果某个LV的PP数量是LP的两倍或三倍，说明它被镜像了。例如，LP:100 PP:200 意味着每个逻辑分区都有两个物理副本（镜像）。 同时，使用：

   lsvg -p datavg

   查看datavg中所有PV的状态和PP使用情况，确认故障盘是否仍然是“active”状态，以及它的PP是否已经被迁移走。

实操心得：千万不要只依赖一个信息源。结合errpt日志中的物理位置信息（如U787B.001.DNWGXXX-P1-T14）、HMC上的LED指示灯或VPD信息，与AIX内部的hdisk编号进行交叉验证，确保你拔掉的就是系统认为故障的那块盘。我曾经遇到过机柜标签与系统识别不一致的情况，差点误操作。

2.3 制定更换策略：迁移（Migrate） vs. 镜像（Mirror）

根据故障盘所在VG的配置，我们有两条主要路径：

• 路径A：卷组未做镜像，或故障盘是镜像副本之一但我们可以接受短暂单点运行。核心策略是使用migratepv命令。这条命令可以将数据从源PV（故障盘）迁移到目标PV（新盘）。前提是目标PV必须已经加入同一个VG。这是最常用、最直接的更换方法。

• 路径B：卷组做了镜像，且我们希望实现“热插拔”式零停机更换。核心策略是使用unmirrorvg和mirrorvg命令组合。先解除故障盘上的镜像关系（unmirrorvg），将其从VG中移除（reducevg），然后换上新盘，加入VG并重新建立镜像（mirrorvg）。这个过程对于上层应用和文件系统是完全透明的，理论上业务不中断。

注意：migratepv命令在数据迁移期间，相关的LV和文件系统仍然是激活和可访问的，但I/O性能可能会受到影响。对于非常大的PV，迁移可能需要数小时，务必在业务低峰期进行。

3. 实战演练：通过migratepv更换非根卷组硬盘

这是最常见的情景。假设故障盘是hdisk2，属于datavg卷组，并且该VG没有镜像，或者虽有镜像但hdisk2上的数据副本可以迁移。

3.1 前期准备与检查

1. 备件就位：确保有一块同类型（FC/SAS）、同容量或更大容量的新硬盘。将其插入磁盘框对应的空槽位或替换故障槽位。
2. 识别新盘：在AIX系统中扫描新硬件。

   cfgmgr -v

   运行后，用lspv查看是否出现新的hdisk（比如hdisk3），其状态应为“None”，表示尚未分配VG。
3. 检查目标VG空间：虽然我们要迁移走一个PV，但目标VG必须有空间容纳新PV。用lsvg datavg查看VG的PP大小和总数。确保新盘的容量至少不小于故障盘已使用的容量。
4. 备份与通知：尽管是在线迁移，对关键数据进行一次备份（如使用savevg或应用层备份）是良好的习惯。同时通知业务方可能的性能影响。

3.2 将新盘加入原有卷组

新盘hdisk3需要先加入到datavg，才能接收迁移过来的数据。

extendvg datavg hdisk3

执行后，使用lsvg -p datavg确认hdisk3已成功加入，状态为“active”。

3.3 执行数据迁移

这是核心步骤。将hdisk2上的所有数据迁移到hdisk3。

migratepv hdisk2 hdisk3

这条命令会将hdisk2上所有LV的PP，逐个迁移到hdisk3上。迁移过程是后台进行的，你可以用iostat或lspv hdisk2观察进度。lspv hdisk2输出中“USED PPs”会逐渐减少，而lspv hdisk3的“USED PPs”会逐渐增加。

为什么是migratepv而不是复制文件？因为migratepv操作的是LVM的元数据和PP映射关系，它是在存储子系统层面移动数据块，效率远高于在文件系统层用cp或dd。它能保证LV结构的完整性，并且迁移后LV的设备名和文件系统挂载点完全不变，对应用无感。

3.4 迁移后清理与验证

1. 验证迁移完成：

   lspv hdisk2 | grep “USED PPs”

   如果输出显示USED PPs为0，说明数据已全部迁出。

   lspv hdisk3 | grep “USED PPs”

   确认数据已全部迁入。

2. 从卷组中移除故障盘：

   reducevg datavg hdisk2

   系统会提示你确认，因为hdisk2上已无数据。移除后，hdisk2在lspv中状态变回“None”。

3. 删除故障盘定义（可选）：如果你确定要物理拔出这块盘，可以删除其在AIX中的设备定义。

   rmdev -dl hdisk2

   重要：仅在物理拔盘前做这一步。如果盘还在槽位里，cfgmgr可能会重新识别它。

4. 最终系统检查：

   lsvg -l datavg df -g （查看文件系统空间，确认一切正常） errpt | head -20 （检查是否有新报错）

   确保所有LV状态正常，文件系统可正常读写。

4. 高阶场景：更换根卷组（rootvg）硬盘

更换rootvg的硬盘是最高风险操作，因为其中包含AIX操作系统、引导信息（BLV）和交换空间（paging space）。AIX提供了专门的工具alt_disk_install来相对安全地处理。

核心思路：不是直接迁移，而是将当前可正常运行的rootvg完整克隆到一块新硬盘上，然后将新盘配置为可引导的备用根卷组。最后通过修改引导列表，从新盘启动。故障盘则可以在系统离线后处理。

4.1 使用 alt_disk_install 克隆 rootvg

假设新盘为hdisk1。

1. 克隆当前rootvg：

   alt_disk_install -C -B -d hdisk1

   • -C：执行克隆操作。
   • -B：在新磁盘上安装引导记录。
   • -d hdisk1：指定目标磁盘。 此命令会创建一个名为altinst_rootvg的临时VG（实际上是rootvg的副本），并将所有数据复制过去。完成后，hdisk1就成为了一个可独立引导的备用系统盘。

2. 验证克隆：重启系统，并在HMC或SMS（System Management Services）菜单中选择从hdisk1启动，测试新盘上的系统是否完全正常。这是一个至关重要的测试步骤。

4.2 切换引导盘与清理旧盘

1. 修改永久引导列表：在从原系统盘（hdisk0）启动的正常系统中，将hdisk1设为第一引导设备。

   bootlist -m normal hdisk1 hdisk0

2. 重启并验证：重启服务器，系统应从hdisk1引导。启动后，原故障盘hdisk0现在变成了“非rootvg”的普通磁盘。
3. 清理旧rootvg盘：现在可以安全地处理hdisk0了。

   # 从当前运行的rootvg中移除hdisk0（如果它还在VG中） reducevg rootvg hdisk0 # 删除设备定义 rmdev -dl hdisk0

4. 后续处理：物理更换故障硬盘后，可以将其作为新的备用盘，或者用同样的alt_disk_install方法将其制作成新的备用克隆。

踩坑记录：alt_disk_install执行过程中，务必确保有足够的临时空间（通常是/tmp），并且过程不能中断。我曾遇到过因/tmp空间不足导致克隆失败，回退过程又很麻烦的情况。建议在执行前手动清理/tmp并检查空间。另外，克隆后的主机名、IP等网络配置会与原盘一致，但一些与硬件地址绑定的许可（license）可能需要重新激活。

5. 更换镜像卷组中的硬盘：追求零停机

如果故障盘在一个做了镜像的VG中（例如datavg在hdisk1和hdisk2上做了镜像），我们可以利用镜像的冗余性实现更优雅的更换。

5.1 解除故障盘镜像关系

假设hdisk2故障，但hdisk1上的数据副本完好。

1. 从镜像中移除故障盘：

   unmirrorvg datavg hdisk2

   这个命令会删除hdisk2上所有LV的镜像副本，但保留hdisk1上的主副本。此时VG仍处于镜像状态（但只有一个副本），LV访问不受任何影响。

2. 将故障盘从VG中移除：

   reducevg datavg hdisk2

   现在hdisk2已完全脱离datavg。

5.2 加入新盘并重建镜像

1. 将新盘（hdisk3）加入VG：

   extendvg datavg hdisk3

2. 在VG上重新建立镜像：

   mirrorvg -S -c 2 datavg

   • -S：后台同步，不阻塞命令行。
   • -c 2：指定镜像副本数为2。 这条命令会在hdisk1和hdisk3之间同步所有LV的数据，重建完整的镜像关系。同步过程在后台进行，应用无感知。

3. 验证镜像状态：

   lsvg -l datavg

   等待所有LV的“PP”数稳定为“LP”数的2倍，并且状态为“syncd”。

   lsvg -p datavg

   确认hdisk1和hdisk3状态都是“active”。

核心要点：unmirrorvg和mirrorvg的组合，本质上是利用了LVM的逻辑层抽象。对于文件系统和应用来说，它们访问的LV设备路径（如/dev/fslv00）始终没变，底层的物理盘更换被完美封装。这是实现存储层高可用维护的标准操作。

6. 关键注意事项与排错指南

即使步骤清晰，实操中仍会碰到各种“意外”。以下是一些血泪教训总结：

• 磁盘路径与PVID冲突：新盘加入VG时可能报错“PVID in use”或“Device busy”。这通常是因为该磁盘之前被其他系统使用过，留有旧的PVID。解决方法：用chdev -l hdiskX -a pv=clear清除磁盘上的PVID信息，然后再执行extendvg。
• migratepv进度监控与卡住：迁移大型PV时，可以用lspv -M hdisk2 | head -20查看具体哪些LP还在源盘上。如果迁移似乎卡住，检查系统I/O负载（iostat 2）和错误日志（errpt）。极少数情况下，遇到坏块的LV可能导致迁移失败，可能需要先尝试用dd或应用工具修复该文件，或从备份恢复单个文件。
• 空间不足问题：extendvg前务必用lsvg datavg查看VG的“MAX PPs per VG”和“FREE PPs”。如果VG已满，需要先扩容VG容量（这涉及到修改VG类型，风险较高），或者选择更大的新盘。确保新盘的PP数（容量/PP大小）足够容纳迁移来的数据。
• 并发操作禁忌：绝对不要在同一个VG上同时运行多个存储管理命令（如一边migratepv一边mirrorvg）。这几乎必然会导致LVM元数据损坏。一次只做一件事，并等待其彻底完成。
• 文档与回滚：记录下操作前后的完整配置（lspv，lsvg -p vgname，lsvg -l vgname）。对于复杂操作，提前规划好回滚步骤。例如，在unmirrorvg之前，你知道如何用剩下的好盘单独启动服务吗？

更换AIX小机硬盘，是对系统管理员LVM理解深度和操作严谨性的综合考验。它没有一键完成的魔法，每一步都需要明确其背后的原理和风险。掌握从诊断、策略选择到具体命令执行的完整链条，才能在各种生产环境的压力下，沉稳、准确地完成这项关键任务，保障核心业务的永续运行。每次成功更换后，那种对系统掌控力提升的感觉，就是运维工作最大的成就感之一。