# SRE 应用稳定性看板> 从应用维度监控服务健康状态，基于 Apdex 评分体系---## 一、应用监控维度### 1.1 系统层：资源使用率#### EC2 指标| 指标 | 说明 | |------|------| | CPU 利用率 | 处理器使用百分比 | | MEM 利用率 | 内存使用百分比 | | 磁盘利用率 | 存储使用百分比 | | IO 利用率 | 磁盘 IO 使用率 | | TCP 连接利用率 | 网络连接数 | | OOM 次数 | 内存溢出次数 |#### K8S 指标| 指标 | 说明 | |------|------| | POD CPU 利用率 | 容器 CPU 使用率 | | POD MEM 利用率 | 容器内存使用率 | | POD PVC 利用率 | 持久卷使用率 | | POD 异常重启次数 | 容器重启计数 |### 1.2 应用服务层#### JVM 指标| 指标 | 说明 | |------|------| | JVM CPU 利用率 | Java 进程 CPU | | JVM 内存利用率 | 堆内存使用率 | | JVM GC Count | GC 次数 | | JVM GC Time | GC 耗时 | | JVM Thread Count | 线程数 |#### 进程状态| 指标 | 说明 | |------|------| | 进程存活状态 | 进程是否运行 |### 1.3 应用运行层#### 吞吐量| 指标 | 说明 | |------|------| | QPS/TPS | 每秒请求/事务数 |#### 时延| 指标 | 说明 | |------|------| | 接口平均响应时间 | 平均延迟 | | P99/P95/P90 响应延时 | 分位数延迟 |#### Error| 指标 | 说明 | |------|------| | 接口请求成功率 | 成功请求占比 | | 5XX 次数 | 服务端错误数 |---## 二、服务评分：Service Apdex### 2.1 概述**Service Apdex**（综合计算指标）用于衡量服务整体健康状态。| 资源 | 说明 | |------|------| | **代码仓地址** | https://github.com/LiquidityTech/devops-infra-deploy-manifests/tree/main/devops-service/service-apdex | | **Apdex 评分看板** | https://grafana.example.com/d/4d92cd2d-013d-4096-ae5e-954715d5c87a/sre-total-health-dashboard | ### 2.2 评分规则 - JAVA EC2 部署类型```python ec2_java_service_apdex_rules = [{"index_name": "system_cpu_utilization", "limit_value": 0.95},{"index_name": "system_mem_utilization", "limit_value": 0.95},{"index_name": "system_disk_utilization", "limit_value": 0.90},{"index_name": "system_disk_io_utilization", "limit_value": 0.90},{"index_name": "system_tcp_utilization", "limit_value": 0.90},{"index_name": "system_oom_frequency_utilization", "limit_value": 1.0},{"index_name": "jvm_surviving_instance", "limit_value": 0}, # 存活实例必须等于服务实例数{"index_name": "jvm_heap_mem_utilization", "limit_value": 0.90},{"index_name": "request_success_rate", "limit_value": 0.99}, # 请求成功率若小于99%，则该项指标进行扣分{"index_name": "request_5xx_count_10_min", "limit_value": 50.0} ] ```### 2.3 评分规则 - JAVA K8S 部署类型```python k8s_java_service_apdex_rules = [{"index_name": "pod_system_cpu_utilization", "limit_value": 0.95},{"index_name": "pod_system_mem_utilization", "limit_value": 0.95},{"index_name": "pod_abnormal_restart_count", "limit_value": 1.0},{"index_name": "pod_jvm_heap_mem_utilization", "limit_value": 0.90},{"index_name": "pod_request_success_rate", "limit_value": 0.99}, # 请求成功率若小于99%，则该项指标进行扣分{"index_name": "pod_request_5xx_count_10_min", "limit_value": 50.0} ] ```### 2.4 评分规则 - C++ EC2 部署类型```python ec2_cpp_service_apdex_rules = [{"index_name": "system_cpu_utilization", "limit_value": 0.95},{"index_name": "system_mem_utilization", "limit_value": 0.95},{"index_name": "system_disk_utilization", "limit_value": 0.90},{"index_name": "system_disk_io_utilization", "limit_value": 0.90},{"index_name": "system_tcp_utilization", "limit_value": 0.90},{"index_name": "system_oom_frequency_utilization", "limit_value": 1.0},{"index_name": "process_surviving_instance", "limit_value": 0} # 存活实例必须等于服务实例数 ] ```---## 三、一期服务列表### 3.1 OMS 服务| 服务名 | 部署方式 | |--------|----------| | pb-trading-gateway | EC2 | | pb-trading-engine | EC2 | | pb-trading-dump | EC2 | | pb-trading-market | EC2 | | pb-trading-push | EC2 | | pb-trading-monitor | EC2 | | pb-trading-statistics | EC2 | | pb-trading-query | EC2 | | pb-trading-transfer | EC2 | | rapidx-trading-query-realtime | EC2 | | rapidx-trading-clearing | EC2 | | rapidx-trading-market-gateway | EC2 | | rapidx-trading-algo-server | EC2 | | rapidx-trading-query-persistent | EC2 | | rapidx-trading-onezero-maker | EC2 | | ltp-exchange-data-server | EC2 |### 3.2 其他服务| 服务类别 | 服务名 | |---------|--------| | **Bitu** | bitu-trade | | **EMS** | rapidtrade-server, rapidtrade-order, rapidtrade-quote, rapidtrade-stp, rapidtrade-data-push, Rapidtrade-storage | | **Rapidmarket** | rapidmarket | | **MDS** | connect-server, query-server, quote-server, connex-connect-server, connex-quote-server, open-api-connect-server, open-api-quote-server, mds-engine | | **K8S** | ltp-user-project, am-client-service |---