阿里PAI平台使用ESA部署模型滚动更新
阿里PAI平台使用ESA部署模型滚动更新
场景：
阿里PAI平台使用ESA部署模型，vllm部署双卡，双实例
EAS滚动更新配置:
超过期望实例数：{”rolling_strategy.max_surge“:1}
超过期望的实例数（JSON参数：rolling_strategy.max_surge）
- 描述：更新时最多可额外创建的实例数，支持正整数或百分比。值越大，更新越快。。
- 例如：100个实例，配置为20，则更新开始即创建20个新实例。
- **默认值：**实例总数的2%（不足1时取1）。
重要
超过期望的实例数过大时，大量新实例上线后会立即替换等量旧实例，若新实例未预热，突增流量可能冲击服务稳定性。
最大不可用实例数: {“rolling_strategy.max_unavailable”:0}
最大不可用实例数（JSON参数：rolling_strategy.max_unavailable）
- **描述：**更新过程中允许的最大不可用实例数，用于释放资源，防止因资源不足导致更新过程被阻碍。
- 例如：设为N，更新开始时立即停止N个旧实例。
- 默认值：
- 专属资源组：2025年9月1日前创建的服务，默认为1。2025年9月1日后创建的服务，弹性资源池开启默认为0，未开启默认为1。
- 公共资源组：0。
- 灵骏智算Quota：2025年9月1日前创建的服务，默认为0。2025年9月1日后创建的服务，默认为实例数的2%（不足1时取1）。
重要
- 单实例服务若将最大不可用实例数设为1，滚动更新时旧实例会在新实例启动前退出，期间服务无可用实例，将短暂不可用。
- 最大不可用实例数过大可能导致过多实例同时下线，剩余实例不足以承载流量，影响服务可用性。
EAS优雅退出配置：
优雅退出时间：{“eas.termination_grace_period”：60}
优雅退出时间（JSON参数：eas.termination_grace_period）
- **描述：**实例优雅退出等待时间，单位秒。实例进入Terminating状态后，流量被摘除，系统等待30秒让其处理完已接收请求后再下线。若请求处理时间较长，建议调大该值。
- **默认值：**30
是否发送SIGTERM：{“rpc.enable_sigterm”: false}
是否发送SIGTERM（JSON参数：rpc.enable_sigterm）
- **描述：**SIGTERM是终止进程的信号。JSON参数取值true、false。
- false：实例退出时不会发送SIGTERM信号。
- true：实例退出时，系统立即发送SIGTERM信号，服务主进程需在信号处理函数中实现自定义优雅退出逻辑，否则可能直接终止，导致优雅退出失败。
- **默认值：**不发送（false）