SOPHON-Learning
SOPHON-BM1684X
- BM1684X
- 基础知识介绍
- 基础命令
- 内存管理
- 开发环境配置
- SophonSDK的使用
- 视频编解码
- 模型部署
- 基础知识（==以下命令需要在host上执行并添加环境变量：/opt/sophon/libsophon-current/bin ==）
- TPU-MLIR框架转换模型
- 配置环境
- ONNX 模型转换（==需要在指定的docker环境中执行==）：
- 模型性能测试（==需要在BM1684x 主机环境上执行==）
- 图像预处理
- 模型推理
BM1684X
基础知识介绍
PCIe Mode：BM1684/BM1684X的一种工作形态，作为加速设备来进行使用，客户算法运行于x86主机
SoC Mode：BM1684/BM1684X的一种工作形态，本身作为主机独立运行，客户算法可以直接运行其上
arm_pcie Mode：BM1684/BM1684X的一种工作形态，搭载BM1684/BM1684X的板卡作为PCIe从设备插到ARM处理器的服务器上，客户算法运行于ARM处理器的主机上
模型相关：
UFramework(ufw)：算能自定义的基于Caffe的深度学习推理框架；类似于TensorRT。
Umodel：算能自定义的UFamework下的模型格式，为量化模型时使用的中间模型格式；类似于onnx
BModel：使用算能智能视觉深度学习推理框架优化后的模型文件；；类似于tensorRT 的 engine 文件
TPU-MLIR：网络编译器工程，可以将不同框架下预训练的神经网络，转化为可以在算能TPU处理器上高效运算的bmodel。基础工具：
tpu-mlir： 为Tensor Processing Unit编译器工程提供一套完整的工具链，可以将不同框架下预训练的神经网络，转化为可以在算能智能视觉深度学习处理器上高效运行的二进制文件BModel。目前直接支持的框架包括tflite、onnx和Caffe。
tpu-nntc： 负责对第三方深度学习框架下训练得到的神经网络模型进行离线编译和优化，生成最终运行时需要的BModel。目前支持Caffe、Darknet、MXNet、ONNX、PyTorch、PaddlePaddle、TensorFlow等
tpu-perf： 为模型性能和精度验证提供了一套完整工具包。
tpu-kernel： 是Tensor Processing Unit底层开发接口，既可以调用专用指令实现深度学习业务逻辑的加速，又可以调用通用指令实现客制的各种算法加速。算子开发：
**自定义算子高级编程库 BMLang：**基于C++的面向SOPHON 智能视觉深度学习处理器的高级编程库，与硬件信息解耦，无需了解硬件架构，使用张量数据（bmlang::Tensor）和计算操作（bmlang::Operator）编写代码，最后使用bmlang::compile或bmlang::compile_with_check来生成智能视觉深度学习处理器可以运行的BModel；此外也支持使用BM168X中的arm 处理器来实现智能视觉深度学习处理器尚不支持的算子。
基础命令
查询设备基本信息：bm_get_basic_info
查看设备版本信息：bm_version
查询设备温度：bm_get_temperature
查看TPU使用率：bm-smi、bm_top
查看VPU使用率 ：cat /proc/vpuinfo
SOC模式下bm-smi 命令支持的参数：
- 将设备状态重定向到文件： bm-smi --file=./bm-smi.log
- 设置查询设备状态的间隔(>=300ms,default=500ms)：bm-smi --lms=1000
- 设置单次运行/周期运行：bm-smi --loop; bm-smi --noloop
- 查看帮助：bm-smi --help
- 查看内存监控：bm-smi --opmode=display_memory_detail
- 查看vpu和jpu的利用率：bm-smi --opmode=display_util_detailSOC模式下通过/proc文件系统设备节点查询设备状态：
- 查询jpu计算单元状态：cat /proc/jpuinfo
- 查询vpu计算单元状态：cat /proc/vpuinfo
- 查询vpp计算单元状态：cat /proc/vppinfo
"total_mem_size":178257920,"used_mem_size":153092096,"free_mem_size":25165824,{"vdec_coreid":0,"link_num":1,"usage(instant|long)":8%|0%}{"channel":"0","res":1920x1088,"fps":50(25),"time":175127920,"in_frames":402,"out_frames":402,"fail_frames":0,"success_not_get":0,"status":6},{"vdec_coreid":1,"link_num":1,"usage(instant|long)":8%|0%}{"channel":"0","res":1920x1088,"fps":50(25),"time":175127946,"in_frames":373,"out_frames":373,"fail_frames":0,"success_not_get":0,