EagleEye部署教程：Kubernetes集群中EagleEye服务的水平扩展与健康检查

EagleEye部署教程：Kubernetes集群中EagleEye服务的水平扩展与健康检查

你是不是也遇到过这样的问题：一个目标检测服务，在测试环境跑得好好的，一到生产环境，用户量稍微上来点，系统就卡顿、延迟，甚至直接崩溃？单点部署的服务，就像把所有鸡蛋放在一个篮子里，一旦篮子出问题，整个服务就瘫痪了。

今天，我就带你解决这个问题。我们将把一个基于DAMO-YOLO TinyNAS架构的毫秒级目标检测引擎——EagleEye，从单机部署升级到Kubernetes集群部署。这不仅仅是换个地方运行，而是要让服务具备弹性伸缩和自我修复的能力，让它能从容应对流量高峰，在某个节点故障时自动恢复，真正实现高可用。

1. 为什么要在K8s中部署EagleEye？

在深入部署细节之前，我们先搞清楚为什么要把EagleEye放到Kubernetes里。你可能会想，我本地用Docker跑得挺稳的，有必要折腾K8s吗？

答案是：看场景。如果你的应用只是内部小范围使用，流量稳定，那单机部署确实够用。但EagleEye的设计目标是“高并发、低延迟”，这意味着它天生就适合处理突发、大量的视觉分析请求。Kubernetes能帮你做到单机Docker做不到的三件事：

1. 水平扩展（Horizontal Pod Autoscaling）：当监控发现CPU或GPU使用率超过阈值时，K8s能自动创建新的EagleEye服务实例（Pod）来分担压力。流量过去后，又能自动缩容，节省资源。这是应对流量波动的终极武器。
2. 高可用与健康检查（Liveness & Readiness Probes）：K8s会持续检查每个Pod的健康状态。如果某个Pod里的EagleEye服务卡死了（比如内存泄漏），K8s会自动重启它。如果Pod还没准备好接收流量，K8s就不会把请求转发给它。这保证了服务的持续可用性。
3. 声明式配置与运维简化：所有部署、服务、配置都写在YAML文件里。一次编写，随处部署。版本升级、回滚、配置变更都变得可控且可追溯，大大降低了运维复杂度。

简单来说，K8s让EagleEye从一个“强壮的士兵”变成了一个“拥有指挥系统、能自我补给和修复的智能军团”。接下来，我们就来亲手组建这个军团。

2. 部署准备：构建可移植的EagleEye镜像

要在K8s里跑，首先得有一个标准的容器镜像。虽然项目可能提供了Dockerfile，但我们通常需要根据K8s环境做一些优化。

假设我们有一个基础的项目结构，里面包含了EagleEye的核心应用代码（比如一个FastAPI服务）和相关的模型文件。一个典型的Dockerfile可能长这样：

# 使用带有CUDA的Python基础镜像，确保GPU支持 FROM nvcr.io/nvidia/pytorch:23.10-py3 WORKDIR /app # 复制依赖文件并安装 COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 复制应用代码和模型 COPY . . # 暴露端口（假设应用运行在7860端口） EXPOSE 7860 # 健康检查端点（重要！） HEALTHCHECK --interval=30s --timeout=10s --start-period=5s --retries=3 \ CMD curl -f http://localhost:7860/health || exit 1 # 启动命令 CMD ["python", "app.py"]

关键点说明：

• 基础镜像：必须选择与你的CUDA版本和PyTorch版本匹配的镜像，这是GPU支持的前提。
• 健康检查：HEALTHCHECK指令是给Docker看的。在K8s里，我们有更强大的Probe机制，但这里先保留，作为一道基础防线。
• 启动命令：确保是前台运行，K8s需要通过进程状态来判断Pod是否存活。

构建并推送镜像到你的镜像仓库（如Docker Hub、阿里云容器镜像服务ACR等）：

docker build -t your-username/eagleeye:latest . docker push your-username/eagleeye:latest

镜像准备好后，我们就可以开始编写K8s的“部署说明书”了。

3. 核心部署：编写Kubernetes部署文件

K8s的一切皆对象，通过YAML文件定义。我们来创建一个核心的部署文件eagleeye-deployment.yaml。

apiVersion: apps/v1 kind: Deployment metadata: name: eagleeye-deployment labels: app: eagleeye spec: replicas: 2 # 初始启动2个副本，形成基础的高可用 selector: matchLabels: app: eagleeye template: metadata: labels: app: eagleeye spec: containers: - name: eagleeye-container image: your-username/eagleeye:latest # 替换为你的镜像地址 imagePullPolicy: IfNotPresent ports: - containerPort: 7860 resources: limits: nvidia.com/gpu: 1 # 申请1块GPU，这是关键！ memory: "4Gi" cpu: "2" requests: nvidia.com/gpu: 1 memory: "2Gi" cpu: "1" env: - name: MODEL_PATH value: "/app/models/damo-yolo-tinynas.pth" # --- 健康检查配置 --- livenessProbe: httpGet: path: /health port: 7860 initialDelaySeconds: 60 # 给应用足够的启动时间 periodSeconds: 30 timeoutSeconds: 10 failureThreshold: 3 readinessProbe: httpGet: path: /health port: 7860 initialDelaySeconds: 30 periodSeconds: 15 timeoutSeconds: 5 failureThreshold: 3 # --- 存储卷挂载（示例：配置文件或模型） --- volumeMounts: - name: config-volume mountPath: /app/config.yaml subPath: config.yaml volumes: - name: config-volume configMap: name: eagleeye-config # 节点选择器：确保Pod被调度到有GPU的节点上 nodeSelector: accelerator: nvidia-gpu

这个文件是重中之重，我们来拆解一下：

1. replicas: 2：告诉K8s一开始就运行2个完全相同的EagleEye Pod。即使一个挂了，另一个还能继续服务。
2. resources.limits/requests：这是为容器申请资源。nvidia.com/gpu: 1是声明需要GPU。你需要确保K8s集群已正确安装NVIDIA设备插件（nvidia-device-plugin），这样K8s才能识别和管理GPU资源。
3. livenessProbe（存活探针）：用于判断容器是否“活着”。如果连续失败3次（failureThreshold），K8s会认为容器死掉了，然后重启这个Pod。initialDelaySeconds很重要，要给模型加载等初始化操作留足时间。
4. readinessProbe（就绪探针）：用于判断容器是否“准备好”接收流量。如果检查失败，K8s会从Service的负载均衡池中移除这个Pod，直到它恢复健康。这可以防止把请求转发给还没启动完的Pod。
5. nodeSelector：通过标签选择器，将Pod调度到带有accelerator: nvidia-gpu标签的节点上。你需要提前给有GPU的机器打上这个标签：kubectl label nodes <node-name> accelerator=nvidia-gpu。

应用这个部署：

kubectl apply -f eagleeye-deployment.yaml

使用kubectl get pods -l app=eagleeye查看Pod状态，等到两个Pod都显示RUNNING且READY为2/2（如果有多个容器）或1/1。

4. 对外暴露：创建Service和Ingress

部署好了，但Pod的IP是临时的，外部无法直接访问。我们需要创建一个Service作为稳定的内部负载均衡器，再通过Ingress（如果需要从集群外访问）暴露出去。

先创建Service，文件eagleeye-service.yaml：

apiVersion: v1 kind: Service metadata: name: eagleeye-service spec: selector: app: eagleeye # 选择所有标签为app:eagleeye的Pod ports: - protocol: TCP port: 80 # Service对外暴露的端口 targetPort: 7860 # 容器内部的端口 type: ClusterIP # 默认类型，仅在集群内部可访问

如果你希望从集群外部（比如通过公网IP或域名）访问，需要Ingress。这需要集群已安装Ingress Controller（如Nginx Ingress）。创建eagleeye-ingress.yaml：

apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: eagleeye-ingress annotations: nginx.ingress.kubernetes.io/proxy-body-size: "20m" # 允许上传大图片 spec: rules: - host: eagleeye.yourdomain.com # 你的域名 http: paths: - path: / pathType: Prefix backend: service: name: eagleeye-service port: number: 80

应用它们：

kubectl apply -f eagleeye-service.yaml kubectl apply -f eagleeye-ingress.yaml

现在，集群内的其他应用可以通过eagleeye-service:80访问EagleEye。外部用户则可以通过http://eagleeye.yourdomain.com访问。

5. 实现自动水平扩展（HPA）

这是让服务具备弹性的关键一步。我们需要创建一个Horizontal Pod Autoscaler（HPA）资源，让它根据Pod的CPU/GPU利用率自动调整副本数量。

创建eagleeye-hpa.yaml：

apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: eagleeye-hpa spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: eagleeye-deployment # 指定要扩展的Deployment minReplicas: 2 # 最小副本数，保持高可用 maxReplicas: 10 # 最大副本数，根据集群资源设定 metrics: - type: Resource resource: name: cpu target: type: Utilization averageUtilization: 70 # 目标CPU平均使用率70% # 注意：Kubernetes 1.27+ 原生支持GPU指标，但需要Metrics Server和相应的设备插件支持。 # 如果集群支持，可以添加GPU指标： # - type: Resource # resource: # name: nvidia.com/gpu # target: # type: Utilization # averageUtilization: 80

应用HPA：

kubectl apply -f eagleeye-hpa.yaml

你可以通过以下命令观察HPA的工作状态：

kubectl get hpa eagleeye-hpa -w

当向EagleEye发送大量检测请求时，CPU使用率上升，HPA会自动增加Pod数量（比如从2个扩展到5个）。当流量下降，它又会逐步减少Pod数量，但不会低于2个。

6. 监控与日志：确保一切尽在掌握

部署不是终点，运维才刚刚开始。你需要知道服务运行得怎么样。

1. 查看Pod状态和日志：

   # 查看Pod概况 kubectl get pods -l app=eagleeye # 查看某个Pod的详细日志 kubectl logs -f <pod-name> # 如果Pod有多个容器，指定容器名 kubectl logs -f <pod-name> -c eagleeye-container

2. 查看事件：当Pod创建失败、调度失败时，事件是首要排查点。

   kubectl describe pod <pod-name>

3. 监控仪表板：安装Kubernetes Dashboard或使用Prometheus + Grafana搭建监控体系，可以图形化地查看集群资源使用率、Pod状态、自定义的业务指标（如EagleEye的推理延迟、QPS等）。

7. 总结

回顾一下，我们完成了从单机EagleEye到K8s集群化部署的升级之旅：

1. 构建镜像：准备了包含健康检查的可移植Docker镜像。
2. 核心部署：通过Deployment定义服务模板，配置了GPU资源、健康探针（livenessProbe和readinessProbe），实现了高可用基础。
3. 网络暴露：通过Service实现内部负载均衡，通过Ingress实现外部访问。
4. 弹性伸缩：通过HorizontalPodAutoscaler (HPA)实现了基于CPU指标的自动水平扩展，让服务能应对流量洪峰。
5. 运维就绪：掌握了查看日志、监控状态的基本命令。

这套组合拳打下来，你的EagleEye服务就具备了生产级应用的核心能力：弹性、自愈、可观测。它不再是一个脆弱的单点，而是一个健壮的、能够自动应对故障和负载的分布式服务。

当然，生产环境还需要考虑更多，比如配置管理（ConfigMap/Secret）、数据持久化（PersistentVolume）用于存储模型或日志、网络策略（NetworkPolicy）以及更精细的资源配额（ResourceQuota）。但有了今天这个坚实的基础，后续的优化和扩展都将有迹可循。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。