CANN-昇腾NPU-推理服务灰度发布-怎么平滑切换版本
灰度发布（Canary Deployment）把新版本先给 5% 用户用，没问题再全量。在昇腾NPU推理服务上，灰度发布需要解决：流量切分、效果对比、快速回滚。
灰度策略
策略 1：随机切分
importrandom MODEL_VERSIONS={"v1.0":0.95,# 95% 流量"v1.1":0.05,# 5% 流量（灰度）}defselect_model():r=random.random()cumulative=0forversion,ratioinMODEL_VERSIONS.items():cumulative+=ratioifr<cumulative:returnversionreturn"v1.0"@app.post("/generate")asyncdefgenerate(prompt:str):version=select_model()model=models[version]result=awaitmodel.generate(prompt)return{"result":result,"version":version}策略 2：用户 ID 哈希切分
defselect_model_by_user(user_id:str):# 同一用户始终落到同一版本（体验一致）hash_val=hash(user_id)%100ifhash_val<5:# 5% 灰度return"v1.1"return"v1.0"策略 3：请求特征切分
defselect_model_by_request(prompt:str):# 短 prompt 用新版本，长 prompt 用旧版本（新版本长序列支持不稳定）iflen(prompt)<512:return"v1.1"return"v1.0"K8s 灰度配置
# 95% 流量到 v1.0apiVersion:networking.k8s.io/v1kind:Ingressmetadata:name:inference-v1-canaryspec:rules:-http:paths:-path:/pathType:Prefixbackend:service:name:inference-v1port:number:8000---# 5% 流量到 v1.1（灰度）apiVersion:networking.k8s.io/v1kind:Ingressmetadata:name:inference-v1-canaryannotations:nginx.ingress.kubernetes.io/canary:"true"nginx.ingress.kubernetes.io/canary-weight:"5"spec:rules:-http:paths:-path:/pathType:Prefixbackend:service:name:inference-v1-canaryport:number:8000效果对比
灰度期间对比两个版本的关键指标：
fromprometheus_clientimportCounter,Histogram# 定义指标requests_total=Counter("inference_requests_total","Total requests",["version"])latency_histogram=Histogram("inference_latency_seconds","Latency",["version"])error_counter=Counter("inference_errors_total","Errors",["version"])@app.post("/generate")asyncdefgenerate(prompt:str):version=select_model()withlatency_histogram.labels(version=version).time():try:result=awaitmodels[version].generate(prompt)requests_total.labels(version=version).inc()returnresultexceptExceptionase:error_counter.labels(version=version).inc()raiseGrafana 面板对比：
panels:-title:错误率对比expr:|rate(inference_errors_total{version="v1.1"}[5m]) / rate(inference_requests_total{version="v1.1"}[5m])type:graph-title:延迟 P99 对比expr:|histogram_quantile(0.99, rate(inference_latency_seconds_bucket{version="v1.1"}[5m]) )type:graph灰度通过标准：
- 错误率不超过 v1.0 的 1.2×
- P99 延迟不超过 v1.0 的 1.1×
- 用户反馈满意度 ≥ v1.0
快速回滚
灰度发现问题时，立即回滚：
# K8s 调整灰度权重到 0kubectl patch ingress inference-v1-canary\--type='json'\-p='[{"op": "replace", "path": "/metadata/annotations/nginx.ingress.kubernetes.io~1canary-weight", "value": "0"}]'ATB 的模型热切换也可以做回滚：
# 灰度版本出错，热切换回旧版本model.reload("model_v1.0.om")自动化灰度
用 Prometheus + Alertmanager 做自动化灰度：
# Prometheus 告警规则groups:-name:canary_alertsrules:-alert:CanaryHighErrorRateexpr:|rate(inference_errors_total{version="v1.1"}[5m]) / rate(inference_errors_total{version="v1.0"}[5m]) > 1.2for:2mannotations:summary:"灰度版本错误率过高，自动回滚"# Alertmanager 触发 webhook，调用回滚 API@app.post("/webhook/rollback")asyncdefrollback():# 调整 K8s Ingress 权重os.system("kubectl patch ingress ...")# 灰度权重 → 0return{"status":"rolled back"}灰度发布是在线服务更新的最佳实践。随机切分 5% 流量 → 对比效果 → 无问题全量。K8s Ingress 做流量切分，Prometheus 做效果监控，自动回滚防止事故扩大。仓库在这里：
https://atomgit.com/cann/ATB