模型部署需要考虑的性能指标和模型部署的步骤

模型性能相关

性能指标

可以分为Memory bandwidth和compute bandwidth

模型里面优化目标是让计算峰值靠近compute bandwidth，让吞吐量靠近Memory bandwidth

此外模型还有：
计算量
参数量
访存量

roofline model

这里提出了一种性能优化的模型。
该模型提出了一个评价模型性能的指标，计算密度

可以用带宽和峰值参数算出计算密度，找到能够性能优化的方面：

注意点

1. 硬件指标不能完全衡量模型性能
   
2. rrt对模型的优化有限
   
   3.对cuda core和tensor core的使用
   
   4.不能忽略前处理和后处理的overhead（额外开销）
   5.使用性能分析工具查看benchmark和profiling，找到优化的方向
   

模型部署相关

量化

通过减少模型的计算精度从而减少模型整体计算量的一种方法。一般针对激活值和权重进行量化，所以一般会说对cnv和linear这些计算密集算子进行量化。


由于模型越来越复杂，希望减少模型的计算量和压缩模型，同时希望在量化后的模型精度损失尽量少。

量化里重要的细节

量化映射

但是对于不同的数据分布，同一种tatio和distance对原数据的损失不同，所以要根据原数据的分布合理的设计ratio和distance

两种量化方法，对称量化和非对称量化：

粒度

校准

PTQ

QAT