当前位置: 首页 > news >正文

LitServe 支持自动worker restart

LitServe 支持自动worker restart

LitServe 在0.2.17. 添加了一个比较有意思的工具,就是自动worker 重启,可以确保异常的worker 节点可以重启,确保服务的可用性

参考玩法

import litserve as lsserver = ls.LitServer(MyAPI(),restart_workers=True,  # Automatically restart failed workersworkers_per_device=4
)
server.run()

参考资料

https://github.com/Lightning-AI/LitServe/releases