033.API服务优化：异步处理、批处理、GPU内存管理

从线上服务崩溃说起

上周三凌晨，监控突然报警——我们部署在K8s上的YOLOv5检测服务P95延迟飙升到3秒以上，紧接着几个实例内存溢出重启。查日志发现，当时有个客户端在频繁调用单张图片检测接口，每秒请求量突然从50跳到300。服务虽然用了Flask+Gevent，但GPU推理还是同步的，请求直接堵死在模型forward上。

这个问题很典型：把推理脚本直接套上Web框架就当生产API用，迟早要出事。今天我们就聊聊怎么从异步处理、批处理和GPU内存三个维度，把CV模型服务优化到工业级可用。

异步处理：别让GPU等IO

原始版本代码长这样：

@app.route('/detect',methods=['POST'