[qemu+kvm]: iommu 开关代码分析
本文介绍pcie/pci设备、platform设备加入iommu group前的代码流程，帮助大伙理解这部分功能。
同时介绍一个guestOS 如何同时使用iommu pcie和 non-iommu pcie
- 使用介绍：
- 现在qemu支持两个RC：
- 第一个RC携带iommu attribute：pcie.0
- 第二个RC不携带iommu attribute：pcie.1
实战： 向guest透传pcie有线网卡，有线网卡使用iommu； 同时向guest透传pcie无线网卡，无线网卡不使用iommu： qemu-system-aarch64-M virt,gic-version=3,accel=kvm,iommu=smmuv3-cpu host-kernel Image_guest-append"root=/dev/vda console=ttyAMA0 init=/sbin/init rootwait rw "-nographic-m10240M-drive file=1.img,if=none,id=drv1,format=raw-device virtio-blk-pci,drive=drv1,bus=pcie.0-device vfio-pci,host=0001:01:00.0,bus=pcie.0-device vfio-pci,host=0002:01:00.0,bus=pcie.1-smp8注：第一个透传pci设备加入bus pcie.0， 第二个透传pci设备加入bus pcie.1- 进入guest查看：
:lspci-vvv//第一个RC pcie.00000:00:00.0Host bridge:Red Hat,Inc.QEMU PCIe Host bridge Subsystem:Red Hat,Inc.QEMU PCIe Host bridge Control:I/O-Mem-BusMaster-SpecCycle-MemWINV-VGASnoop-ParErr-Stepping-SERR-FastB2B-DisINTx-Status:Cap-66MHz-UDF-FastB2B-ParErr-DEVSEL=fast>TAbort-<TAbort-<MAbort->SERR-<PERR-INTx-0000:00:03.0Ethernet controller:Realtek Semiconductor Co.,Ltd.Device8126(rev01)...Interrupt:pin A routed to IRQ35IOMMU group:2//加入iommu groupRegion0:I/O ports at10000[size=256]Region2:Memory at8000000000(64-bit,non-prefetchable)[size=64K]Region4:Memory at8000018000(64-bit,non-prefetchable)[size=16K]...Kernel modules:r8126//第二个RC pcie.10001:00:00.0Host bridge:Red Hat,Inc.QEMU PCIe Host bridge Subsystem:Red Hat,Inc.QEMU PCIe Host bridge Control:I/O-Mem-BusMaster-SpecCycle-MemWINV-VGASnoop-ParErr-Stepping-SERR-FastB2B-DisINTx-Status:Cap-66MHz-UDF-FastB2B-ParErr-DEVSEL=fast>TAbort-<TAbort-<MAbort->SERR-<PERR-INTx-0001:00:01.0Network controller:Realtek Semiconductor Co.,Ltd.RTL8852CE PCIe802.11ax Wireless NetworkController(rev01)...Interrupt:pin A routed to IRQ69// 没有加入iommu groupRegion0:I/O ports at1000[size=256]Region2:Memory at20000000(64-bit,non-prefetchable)[size=1M]...Kernel driver in use:rtl8852ce Kernel modules:rtl8852ce2. 代码逻辑介绍：
当device和driver 匹配时，内核执行：
device_driver_attach
__driver_probe_device
really_probe
staticintreally_probe(structdevice*dev,structdevice_driver*drv){...if(dev->bus->dma_configure){ret=dev->bus->dma_configure(dev);if(ret)gotopinctrl_bind_failed;}...ret=call_driver_probe(dev,drv);}在执行driver probe之前， 首先调用dev->bus->dma_configure， dma_configure根据bus type不同而不同
- pci bus：
structbus_typepci_bus_type={.name="pci",.match=pci_bus_match,.uevent=pci_uevent,.probe=pci_device_probe,.remove=pci_device_remove,.shutdown=pci_device_shutdown,.dev_groups=pci_dev_groups,.bus_groups=pci_bus_groups,.drv_groups=pci_drv_groups,.pm=PCI_PM_OPS_PTR,.num_vf=pci_bus_num_vf,.dma_configure=pci_dma_configure,.dma_cleanup=pci_dma_cleanup,};EXPORT_SYMBOL(pci_bus_type);- platform bus：
structbus_typeplatform_bus_type={.name="platform",.dev_groups=platform_dev_groups,.match=platform_match,.uevent=platform_uevent,.probe=platform_probe,.remove=platform_remove,.shutdown=platform_shutdown,.dma_configure=platform_dma_configure,.dma_cleanup=platform_dma_cleanup,.pm=&platform_dev_pm_ops,};EXPORT_SYMBOL_GPL(platform_bus_type);platform bus相对简单，下面以pci bus为例说明：pci_dma_configure
staticintpci_dma_configure(structdevice*dev){structpci_driver*driver=to_pci_driver(dev->driver);structdevice*bridge;intret=0;bridge=pci_get_host_bridge_device(to_pci_dev(dev));if(IS_ENABLED(CONFIG_OF)&&bridge->parent&&bridge->parent->of_node){ret=of_dma_configure(dev,bridge->parent->of_node,true);}elseif(has_acpi_companion(bridge)){structacpi_device*adev=to_acpi_device_node(bridge->fwnode);ret=acpi_dma_configure(dev,acpi_get_dma_attr(adev));}pci_put_host_bridge_device(bridge);if(!ret&&!driver->driver_managed_dma){ret=iommu_device_use_default_domain(dev);if(ret)arch_teardown_dma_ops(dev);}returnret;}如果是arm平台，更多走基于dtb的解析方式，x86下更多使用acpi table。
注：使用dtb还是acpi table和arch无关。
of_dma_configure：
of_dma_configure_id
of_iommu_configure
intof_iommu_configure(structdevice*dev,structdevice_node*master_np,constu32*id){......if(dev_is_pci(dev)){structof_pci_iommu_alias_infoinfo={.dev=dev,.np=master_np,};err=pci_for_each_dma_alias(to_pci_dev(dev),of_pci_iommu_init,&info);of_pci_check_device_ats(dev,master_np);}else{err=of_iommu_configure_device(master_np,dev,id);}mutex_unlock(&iommu_probe_device_lock);if(err==-ENODEV||err==-EPROBE_DEFER)returnerr;if(err)gotoerr_log;err=iommu_probe_device(dev);......}如果设备是pcie设备，会走of_pci_iommu_init， dev是设备本身，np是设备父节点（pcie RC）的dtb node，
of_pci_iommu_init：
of_iommu_configure_dev_id
{structof_phandle_argsiommu_spec={.args_count=1};interr;err=of_map_id(master_np,*id,"iommu-map","iommu-map-mask",&iommu_spec.np,iommu_spec.args);if(err)returnerr;err=of_iommu_xlate(dev,&iommu_spec);of_node_put(iommu_spec.np);returnerr;}在这里进行检索RC的iommu-map做stream ID映射，并且调用of_iommu_xlate将设备对应的stream ID记录到dev->fwspec中。
回到of_iommu_configure：继续调用iommu_probe_device， 调用smmu ops 的attach_dev， 建立STE
结论：
- 到这里就明白了，如果是pcie设备，只要设备对应RC dtb有iommu-map node，RC下面的device都使用iommu。
- 如果RC没有iommu-map node，也意味着RC没有iommu能力，那么RC下面的EP都不能使用iommu。