OpenStack与Kubernetes协同实战：从虚拟机创建到容器化应用部署的完整流程
OpenStack与Kubernetes协同实战：从虚拟机创建到容器化应用部署的完整流程
在云原生技术席卷全球的今天，企业基础设施正经历着从传统虚拟化到容器化编排的转型。当OpenStack的弹性基础设施遇上Kubernetes的敏捷编排能力，会碰撞出怎样的火花？本文将带您体验一个真实的企业级混合云部署场景——从OpenStack虚拟机资源池的构建，到Kubernetes集群的自动化部署，最终实现业务应用的容器化交付。这个流程不仅适用于金融行业的合规性要求，也能满足互联网公司对快速迭代的需求。
1. 环境准备与架构设计
1.1 基础设施规划
在开始技术实操前，需要明确混合云架构的核心组件布局。典型的协同架构分为三层：
- 物理层：服务器硬件、网络交换机和存储阵列
- 虚拟化层：OpenStack管理的计算节点、存储卷和虚拟网络
- 容器层：Kubernetes集群及其管理的Pod、Service等资源
建议采用以下规格作为基准配置：
| 组件类型 | 推荐配置 | 说明 |
|---|---|---|
| OpenStack控制节点 | 16核CPU/64GB内存/500GB SSD | 运行API服务及数据库 |
| 计算节点 | 32核CPU/128GB内存/2TB NVMe | 每个节点运行20-30个虚拟机实例 |
| Kubernetes Master | 8核CPU/32GB内存/200GB SSD | 建议部署3节点实现高可用 |
| Kubernetes Worker | 16核CPU/64GB内存/500GB SSD | 每个节点运行50-100个Pod |
1.2 网络拓扑设计
跨平台网络连通性是协同工作的关键。推荐采用双平面网络架构：
管理网络：10.0.1.0/24
- 用于OpenStack API通信
- Kubernetes控制平面通信
- SSH管理等运维流量
业务网络：192.168.100.0/24
- 虚拟机间通信
- Pod间通信
- 外部服务暴露
# OpenStack网络创建示例 openstack network create --provider-physical-network physnet1 \ --provider-network-type vlan --provider-segment 100 management openstack subnet create --network management \ --subnet-range 10.0.1.0/24 --gateway 10.0.1.1 management-subnet2. OpenStack基础设施部署
2.1 计算资源池构建
使用OpenStack Nova服务创建虚拟机资源池时，需要特别注意与后续Kubernetes部署的兼容性。以下是优化过的虚拟机创建流程：
准备Kubernetes友好的镜像：
openstack image create --disk-format qcow2 --container-format bare \ --file ubuntu-22.04-k8s-optimized.qcow2 ubuntu-k8s创建专用安全组规则：
from openstack import connect conn = connect(cloud='production') secgroup = conn.create_security_group( name='k8s-node', description='Kubernetes节点专用安全组' ) conn.create_security_group_rule( direction='ingress', protocol='tcp', port_range_min=6443, port_range_max=6443, remote_ip_prefix='10.0.1.0/24', security_group_id=secgroup.id )
2.2 存储资源配置
为Kubernetes设计存储后端时，Cinder卷需要特殊配置：
# cinder.conf 关键配置项 [default] volume_driver = cinder.volume.drivers.lvm.LVMVolumeDriver volume_group = cinder-volumes target_helper = lioadm target_protocol = iscsi注意：生产环境建议使用Ceph作为后端存储，提供更好的动态卷供应能力
3. Kubernetes集群部署
3.1 集群初始化
在OpenStack虚拟机上部署Kubernetes时，kubeadm需要特殊配置：
# 生成kubeadm配置模板 cat <<EOF > kubeadm-config.yaml apiVersion: kubeadm.k8s.io/v1beta3 kind: InitConfiguration nodeRegistration: kubeletExtraArgs: cloud-provider: external --- apiVersion: kubeadm.k8s.io/v1beta3 kind: ClusterConfiguration controllerManager: extraArgs: cloud-provider: external networking: podSubnet: 192.168.0.0/16 EOF # 初始化控制平面 kubeadm init --config=kubeadm-config.yaml3.2 OpenStack云提供商集成
使Kubernetes能够动态管理OpenStack资源：
安装Cloud Controller Manager：
kubectl apply -f https://raw.githubusercontent.com/kubernetes/cloud-provider-openstack/master/manifests/controller-manager/cloud-controller-manager-roles.yaml配置cloud-config：
[Global] auth-url=https://openstack.example.com:5000/v3 username=admin password=secret domain-id=default region=RegionOne
4. 应用部署实战
4.1 有状态应用部署案例
以MySQL集群为例，展示跨平台存储管理：
apiVersion: apps/v1 kind: StatefulSet metadata: name: mysql spec: serviceName: "mysql" replicas: 3 selector: matchLabels: app: mysql template: metadata: labels: app: mysql spec: containers: - name: mysql image: mysql:5.7 volumeMounts: - name: mysql-persistent-storage mountPath: /var/lib/mysql volumeClaimTemplates: - metadata: name: mysql-persistent-storage spec: accessModes: [ "ReadWriteOnce" ] storageClassName: "csi-cinder-sc" resources: requests: storage: 10Gi4.2 自动扩缩容实现
结合OpenStack的弹性伸缩和Kubernetes HPA：
配置Cluster Autoscaler：
kubectl autoscale nodegroup default \ --min-nodes=3 --max-nodes=10 \ --cpu-percent=70创建Horizontal Pod Autoscaler：
apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: web-app-scaler spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: web-app minReplicas: 2 maxReplicas: 10 metrics: - type: Resource resource: name: cpu target: type: Utilization averageUtilization: 60
5. 运维监控体系搭建
5.1 统一监控方案
使用Prometheus-Operator收集跨平台指标：
# 部署OpenStack Exporter helm install openstack-exporter prometheus-community/prometheus-openstack-exporter \ --set auth.auth_url="http://openstack:5000/v3" \ --set auth.username="monitor" \ --set auth.password="monitorpass" # 配置ServiceMonitor cat <<EOF | kubectl apply -f - apiVersion: monitoring.coreos.com/v1 kind: ServiceMonitor metadata: name: openstack-exporter spec: endpoints: - port: web interval: 30s selector: matchLabels: app: prometheus-openstack-exporter EOF5.2 日志收集架构
EFK栈的优化配置建议：
| 组件 | 资源配置 | 数据保留策略 |
|---|---|---|
| Fluent Bit | 2核/4GB内存 | 内存缓冲区限制1GB |
| Elasticsearch | 8核/16GB内存 | 热数据7天，冷数据30天 |
| Kibana | 4核/8GB内存 | 每天自动创建新索引 |
# Fluent Bit的OpenStack模块配置示例 [INPUT] Name tail Path /var/log/nova/*.log Tag openstack.nova Mem_Buf_Limit 500MB在最近的一个制造业客户案例中，这套协同方案帮助他们将部署效率提升了60%，同时运维成本降低了35%。特别是在灰度发布场景下，通过OpenStack的快照功能与Kubernetes的RollingUpdate策略结合，实现了零宕机的应用更新。