1.方案描述
推理多任务模型时，可能会有不同任务分支 部署不同帧率的需求，例如 BEV 动态任务 20 帧，静态任务 10 帧这种情况。
最简单的方式是编译两个模型，分开推理：
- 模型 1：backbone+neck+ 动态 head
- 模型 2：backbone+neck+ 静态 head
此时，重复的公共部分 backbone+neck 会重复占用内存与存储，且 backbone+neck 重复推理，会造成多余的资源消耗、影响性能。
为了解决这些问题，且实现不同任务分支推理不同帧率，可以使用工具链提供的 link 打包功能。
工具链提供的 link 功能，能够 复用 不同 模型/任务 的公共部分 constant 常量（包括权重等），即不会存多份。上图中 link 打包生成的模型 3，相比于模型 1 体积并不会大多少，同时具备推理模型 1 与模型 2 的功能。根据需求，调整模型 1 与模型 2 的推理次数，即可实现不同任务采用不同帧率部署。
2.实现示例
2.1 模型 link 打包
在工具链用户手册《进阶内容-HBDK Tool API Reference》章节中详细介绍了 compile 与 link API，可以看到：
- compile 输出同时支持 hbm 与 hbo 两种文件格式，可通过配置文件后缀名为"。hbm" or ".hbo"来区分。
- link 支持将多个 hbo 文件打包生成一个 hbm 文件。
将两个 hbo 文件通过 link 打包生成一个 hbm 模型，示例代码如下：
2.2 打包模型推理
2.2.1 hrt_model_exec 工具推理
通过 hrt_model_exec model_info --model_file compiled.hbm 可查看打包模型的数量，输入输出等信息，示例如下
This model file has 2 model:
[2_backbone_head1] [1_backbone_head1_head2]
---------------------------------------------------------------------
[model name]: 2_backbone_head1input[0]:
name: ...output[0]:
name: ...------------------------------------------------------------------------------------------------------------------------------------------
[model name]: 1_backbone_head1_head2input[0]:
name: ...output[0]:
name: ...output[1]:
name: ...
结合–model_file 与–model_name 即可实现对打包 compiled.hbm 模型中的某一个模型进行推理。
以 perf 评测打包 compiled.hbm 模型 中 2_backbone_head1 的性能为例，参考命令如下：
hrt_model_exec perf --model_file compiled.hbm --model_name 2_backbone_head1
2.2.2 UCP API 推理
在工具链用户手册《统一计算平台 UCP - 模型推理开发 - 模型推理 API 手册 - 功能接口》中，详细介绍了加载打包模型 hbDNNInitializeFromFiles 与 获取单个模型句柄 hbDNNGetModelHandle 的使用方式，截图如下：
在工具链开发包路径：OE/samples/ucp_tutorial/dnn/basic_samples 下方的示例中有用到这两个接口，可参考使用。
2.3 多任务不同帧率推理
根据需求，调整打包模型 compiled.hbm 中的 模型 1 backbone_head1_head2 与模型 2 backbone_head1 的推理次数，即可实现不同任务采用不同帧率部署。
2.4 性能数据示例
下表中，backbone_head1 是公共部分，注意：公共部分权重是一样的
可以看到，compiled.hbm 体积相比于 1_backbone_head1_head2.hbm 并没有增加多少。
模型加载推理时，ION 内存差异如下：
可以看到，compiled.hbm 占用的内存相比于 1_backbone_head1_head2.hbm 并没有增加多少。