Jetson AGX Orin升级Jetpack 6.0后，如何优雅地自定义设备树（以关闭PCIe IOMMU为例）

Jetson AGX Orin升级Jetpack 6.0后，如何优雅地自定义设备树（以关闭PCIe IOMMU为例）

在嵌入式开发领域，设备树（Device Tree）作为硬件描述的重要机制，已经成为Linux内核不可或缺的组成部分。对于使用NVIDIA Jetson AGX Orin的开发者和工程师来说，掌握设备树的定制技巧意味着能够更灵活地控制硬件行为，解决实际开发中遇到的各种兼容性和性能问题。随着Jetpack 6.0的发布，NVIDIA引入了一系列新的工具和方法，使得设备树的修改变得更加规范和高效。

本文将聚焦于一个典型场景：如何通过自定义设备树来关闭PCIe的IOMMU功能。IOMMU（Input-Output Memory Management Unit）虽然能提供内存保护，但在某些特定应用中可能会引入性能开销或兼容性问题。我们将从创建自定义.dts文件开始，逐步讲解修改、编译和集成的完整流程，帮助开发者掌握Jetpack 6.0环境下设备树定制的核心方法。

1. Jetpack 6.0设备树定制的新特性

Jetpack 6.0在设备树管理方面带来了多项改进，使得开发者能够以更模块化的方式进行硬件配置。与之前版本相比，新版本主要优化了以下几个方面：

• 标准化的设备树源文件结构：所有平台相关的设备树源文件现在都集中在hardware/nvidia/t23x/nv-public/nv-platform目录下，按功能模块清晰分类
• 改进的编译工具链：nvbuild脚本现在能够自动处理设备树的编译和集成，无需手动执行dtc命令
• 增强的配置脚本：新增的scripts/config工具可以方便地修改内核配置，包括与设备树相关的选项

对于PCIe子系统，Jetpack 6.0默认启用了IOMMU支持，这为大多数应用提供了更好的安全性和隔离性。但在某些高性能或低延迟场景下，开发者可能需要禁用此功能。下面是一个典型的性能对比数据：

表：PCIe性能在不同IOMMU配置下的表现对比

2. 创建自定义设备树文件

在Jetpack 6.0中，推荐的做法是基于NVIDIA提供的标准设备树创建自定义版本，而不是直接修改原始文件。这种方法有以下优势：

1. 便于版本控制和后续升级
2. 减少冲突和兼容性问题
3. 可以针对不同应用场景维护多个配置

2.1 准备基础设备树文件

首先，定位到设备树源文件目录：

cd path/to/Linux_for_Tegra/source/hardware/nvidia/t23x/nv-public/nv-platform

然后复制标准设备树文件作为自定义版本的基础：

cp tegra234-p3737-0000+p3701-0005-nv.dts tegra234-p3737-0000+p3701-0005-custom.dts

2.2 修改PCIe配置

打开新创建的自定义文件，添加针对PCIe控制器的修改。以下是关闭IOMMU的典型配置：

#include "tegra234-p3737-0000+p3701-0005-nv.dts" /* 修改PCIe控制器C5 X8的配置 */ &pcie@141a0000 { /delete-property/ iommus; /delete-property/ iommu-map; /delete-property/ dma-coherent; /delete-property/ iommu-map-mask; }; /* 修改PCIe端点配置 */ &pcie_ep@141a0000 { /delete-property/ iommus; /delete-property/ iommu-map; /delete-property/ dma-coherent; /delete-property/ iommu-map-mask; };

关键修改点说明：

• iommus属性定义了IOMMU设备与PCIe控制器的关联
• iommu-map指定了设备ID到IOMMU域的映射关系
• dma-coherent声明了DMA操作的一致性模式
• 通过/delete-property/语法移除这些属性

3. 配置编译系统

为了使自定义设备树能够被正确编译和集成，需要对编译系统做相应调整。

3.1 更新Makefile

在设备树目录下的Makefile中添加对新设备树的编译支持：

dtb-y += tegra234-p3737-0000+p3701-0005-custom.dtb

Jetpack 6.0的编译系统会自动处理以下流程：

1. 使用dtc编译器将.dts文件转换为.dtb二进制格式
2. 将生成的.dtb文件放入内核镜像的适当位置
3. 确保设备树与内核版本匹配

3.2 配置内核参数

虽然设备树修改已经可以禁用IOMMU，但为了确保系统行为一致，建议同时调整内核配置：

cd path/to/Linux_for_Tegra/source/kernel/kernel-jammy-src ./scripts/config --file arch/arm64/configs/defconfig --disable CONFIG_PCI_IOMMU_API ./scripts/config --file arch/arm64/configs/defconfig --disable CONFIG_ARM_SMMU_V3

4. 编译与部署

Jetpack 6.0引入了简化的编译流程，通过nvbuild脚本可以一站式完成内核和设备树的编译。

4.1 设置编译环境

首先定义必要的环境变量：

export CROSS_COMPILE=aarch64-buildroot-linux-gnu- export kernel_output=$HOME/kernel_custom export INSTALL_MOD_PATH=$HOME/jetson_custom

4.2 执行编译

运行以下命令开始完整编译：

cd path/to/Linux_for_Tegra/source ./nvbuild -o ${kernel_output}

编译过程会自动：

1. 构建Linux内核镜像
2. 编译所有设备树文件（包括自定义版本）
3. 生成内核模块
4. 准备安装包

4.3 部署到设备

编译完成后，将生成的文件部署到Jetson设备：

# 复制内核镜像 scp ${kernel_output}/arch/arm64/boot/Image jetson:/boot/Image.custom # 复制设备树 scp ${kernel_output}/arch/arm64/boot/dts/nvidia/tegra234-p3737-0000+p3701-0005-custom.dtb jetson:/boot/dtb/ # 安装内核模块 rsync -avz ${INSTALL_MOD_PATH}/lib/modules/ jetson:/lib/modules/

5. 配置启动选项

最后一步是配置系统使用新的内核和设备树组合。

5.1 修改extlinux.conf

编辑Jetson设备上的/boot/extlinux/extlinux.conf文件：

LABEL custom MENU LABEL Custom Kernel with PCIe IOMMU disabled LINUX /boot/Image.custom FDT /boot/dtb/tegra234-p3737-0000+p3701-0005-custom.dtb INITRD /boot/initrd APPEND ${cbootargs} root=/dev/mmcblk0p1 rw rootwait rootfstype=ext4 console=ttyTCU0,115200

5.2 更新initramfs

在Jetson设备上执行：

sudo nv-update-initrd

5.3 验证配置

重启设备后，可以通过以下命令验证IOMMU是否已禁用：

dmesg | grep -i iommu

预期输出中不应包含PCIe控制器相关的IOMMU初始化信息。同时可以检查PCIe设备的工作状态：

lspci -vvv

在设备输出中，Capabilities部分不应出现IOMMU相关的特性声明。

6. 高级调试与问题排查

即使按照上述步骤操作，在实际部署中仍可能遇到各种问题。以下是几个常见问题及其解决方案：

问题1：设备树修改未生效

可能原因：

• 编译时设备树未被正确包含
• 部署时文件路径错误
• extlinux.conf配置不正确

解决方案：

1. 检查kernel_output目录下是否存在自定义的.dtb文件
2. 确认设备上的文件路径与extlinux.conf中的配置一致
3. 使用fdtdump工具验证.dtb文件内容：

fdtdump /boot/dtb/tegra234-p3737-0000+p3701-0005-custom.dtb | grep iommu

问题2：PCIe设备无法正常工作

可能原因：

• 删除了必要的属性而不仅仅是IOMMU相关属性
• 内核配置与设备树不匹配
• 硬件兼容性问题

解决方案：

1. 逐步还原设备树修改，确认问题引入点
2. 检查内核日志中的PCIe相关错误：

dmesg | grep -i pcie

3. 尝试不同的DMA配置组合：

&pcie@141a0000 { dma-coherent; /* 其他配置保持不变 */ };

问题3：系统启动失败

可能原因：

• 内核与设备树版本不匹配
• 关键硬件描述缺失
• 内存配置冲突

解决方案：

1. 通过串口控制台获取详细启动日志
2. 回退到备份内核启动：

sudo reboot --boot-loader

3. 使用设备树调试选项重新编译：

DTC_FLAGS += -@

在实际项目中，设备树的修改往往需要多次迭代才能达到理想效果。建议开发者：

• 保持每次只修改一个配置项
• 详细记录每次修改的内容和效果
• 建立自动化测试流程验证关键功能