Ivpu任务队列详解

一、和AMDXDNA的区别

Intel IVPU 是以 SHAVE 向量核阵列 + CMX 共享暂存器为核心，采用单层直通提交、参数化动态 Shape 适配、固件自治调度的客户端低功耗 NPU。

Intel的Ivpu和AMDXDNA架构还是有很大区别的，AMDXDNA是2d空间阵列，计算核心的代码放在每个Tile的计算核心机器码存储在16k的progamme memory里，执行的时候会从0地址执行，一直到done为止，数据在每个Tile间流动。

关于AMDXDNA的架构，可以参考这篇文章，写得挺好的：

探秘 AMD NPU 的底层编程接口，对比和高通 NPU 的差异 - 知乎

和AMDXDNA的整个执行阶段计算核心机器码是放在每个Tile的16k的programme memory不同，Intel的计算核心是一个叫做shave的dsp，他的指令是放在host端的ddr ram里的。当运行的时候再搬到shave的cache，类似于这样：

[编译期] VPUX 生成 .blob → 用户态 mmap 写入 GEM BO (instr_bo)
↓
[驱动期] drm_gem_object 分配在系统内存 (Host DDR/CMA)
→ IOMMU 映射 → 生成 NPU 可见的 IOVA 地址
↓
[运行期] NPU Command Streamer 解析 batch_bo
→ 遇到 CMD_EXEC_KERNEL → 硬件指令 DMA 引擎启动
→ 通过 IOMMU 直接从 Host DDR 按序拉取指令块
→ 填入 SHAVE 片上 I-Cache (32~64KB)
→ SHAVE 核从 I-Cache 取指执行

二、任务队列里放啥

之前说过，amdxdna的任务队列放的是command buffer，这个command最终有可能会调用到64M的Instruction buffer，去执行npu相关的dma、以及启动kernel之类的操作。那么在Ivpu体系中，和Instruction buffer对等的一个概念是batch buffer，只不过batch buffer里的内容，因为intel是闭源的，我们无从知晓，但是大概可以猜到，无非还是dma、执行kernel之类。

看一下ivpu的job结构体，batch buffer是嵌入在这个结构中的：

c// 文件：vpu_jsm_api.h:L243-267 struct vpu_job_queue_entry { // ⭐ 核心：指向 Batch Buffer（命令包） u64 batch_buf_addr; // ← Batch Buffer 的 VPU 地址 u32 job_id; // Job ID u32 flags; // 标志位 u64 doorbell_timestamp; // Doorbell 时间戳 u64 host_tracking_id; // Host 追踪 ID // 抢占缓冲区（可选） u64 primary_preempt_buf_addr; u32 primary_preempt_buf_size; u32 secondary_preempt_buf_size; u64 secondary_preempt_buf_addr; };

与固化的Instruction buffer不同，batch buffer是每次任务提交都会产生新的内容的

三、计算核心机器码放在哪里

一次大模型的编译，最终会生成一个大的elf文件，其中会把需要用到的kernel函数都放进去。

参考一下

SHAVE：Intel NPU 里的可编程处理器 - 知乎

在npu_compiler仓库里，sw_runtime_kernels/kernels/prebuild/act_shave_bin/目录下存放了所有预编译好的 SHAVE kernel ELF。截至目前，这个目录包含719 个 ELF 文件，覆盖195 个不同的 kernel family，横跨 4 种架构变体（3720xx、3720xx_lsu0_wo、4000xx、5000xx）。

这些 ELF 被提交到仓库，原因很直接：编译器需要它们才能工作。

编译器在处理模型时，遇到需要 SHAVE 执行的操作，就会从这个预编译库里按 kernel 名和目标架构查找对应的 ELF，提取代码和数据段，嵌入最终的 NPU 可执行文件。没有这些 ELF，编译器就无法为 SHAVE 生成任何任务。

假设这个大的elf文件是如下结构：

model.blob (最终产物) ├─ Header (Magic, Version, Signature, Kernel Count=N) ├─ .text ← 所有 Kernel 的 VLIW 指令流线性拼接 │ ├─ [0x0000 ~ 0x1A40] Kernel_0 (Conv+ReLU) │ ├─ [0x1A40 ~ 0x3C20] Kernel_1 (MatMul+KV) │ └─ [0x3C20 ~ 0x5E00] Kernel_2 (LayerNorm+Softmax) ├─ .kernel_desc ← 索引表：{id, entry_offset, size, params_layout} ├─ .cmx_layout ← 全局内存分区规划（多 Kernel 复用/隔离策略） └─ .tiling_table ← 动态 Shape 适配公式

在推理进行的时候，runtime会根据需要组装成不同的batch buffer，这些batch buffer命令最终会调用到具体的kernel。