K8S集群的搭建
参考资料
参考视频：
https://ke.gupaoedu.cn/play/288/5/34854?phaseId=6
参考资料：
通过网盘分享的文件：02.Kubernetes
链接: https://pan.baidu.com/s/1nrYZvlnADhlDF7RarNSbZQ 提取码: m39a
概要：
本文是搭建一个主节点、两个工作节点的K8S集群，要求每个节点都安装docker,且CPU最少两核、内存最少2G
并且保证3台机器处于同一个网段，互相之间可以ping通
本文是参考官网的生产环境安装方式，有条件的话，还是参考官网
https://kubernetes.io/zh-cn/docs/setup/production-environment/tools/kubeadm/install-kubeadm/
本文使用的版本
```
Docker 18.09.0
---
kubeadm-1.14.0-0
kubelet-1.14.0-0
kubectl-1.14.0-0
---
k8s.gcr.io/kube-apiserver:v1.14.0
k8s.gcr.io/kube-controller-manager:v1.14.0
k8s.gcr.io/kube-scheduler:v1.14.0
k8s.gcr.io/kube-proxy:v1.14.0
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd:3.3.10
k8s.gcr.io/coredns:1.3.1
---
calico:v3.9
```
搭建步骤：
更新yum
在每个服务器执行一下命令：
yum -y update yum install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccompDocker 准备
在每个服务器上安装合适的版本
参考以下网站的步骤安装docker 版本为18.09.0：https://blog.csdn.net/qq_23095607/article/details/153885161?spm=1011.2415.3001.5331
启动docker
sudo systemctl start docker && sudo systemctl enable docker查看每个服务器是否启动成功
systemctl status docker修改Host文件
这里最好先把IP 和 要设置域名的映射 在notepad++里面写下
192.168.124.134 m 192.168.124.135 w1 192.168.124.136 w2m是maser节点 ,
w1是worker-01（工作节点1）
w2是worker-02（工作节点2）
1. 修改master服务器
设置master的hostname，并且修改hosts文件
sudo hostnamectl set-hostname m然后编辑host，将上面的IP映射添加进去
vi /etc/hosts将IP映射添加进去，
2. 修改worker-01服务器
设置worker-01的hostname，并且修改hosts文件
sudo hostnamectl set-hostname w1然后编辑host，将上面的IP映射添加进去
vi /etc/hosts将IP映射添加进去
3. 修改worker-02服务器
设置worker-02的hostname，并且修改hosts文件
sudo hostnamectl set-hostname w2然后编辑host，将上面的IP映射添加进去
vi /etc/hosts将IP映射添加进去
4. 测试
可以使用域名，ping一下试一试，比如在master节点ping两个worker节点
ping w1 ping w2系统基础前提配置
在每台服务器上：
1. 关闭防火墙
systemctl stop firewalld && systemctl disable firewalld2. 关闭selinux
setenforce 0 sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config3. 关闭swap
swapoff -a sed -i '/swap/s/^\(.*\)$/#\1/g' /etc/fstab4. 配置iptables的ACCEPT规则
iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat && iptables -P FORWARD ACCEPT5. 设置系统参数
cat <<EOF > /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF sysctl --system安装kubeadm, kubelet 和 kubectl
在每台服务器下，都执行以下步骤
1. 配置yum源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF2. 安装kubeadm、kubelet、kubectl
先卸载一遍
sudo yum remove -y kubeadm kubelet kubectl然后安装
yum install -y kubelet-1.14.0-0 yum install -y kubeadm-1.14.0-0 yum install -y kubectl-1.14.0-0如果出现了依赖冲突，则先安装下依赖
使用如下命令安装
sudo yum install kubernetes-cni-0.7.5-03. docker和k8s设置同一个cgroup
vi /etc/docker/daemon.json添加以下内容，注意用逗号,隔开
【文件没内容的话，就新建；有的话，就加上这一句，注意文件的格式[逗号]】
"exec-opts": ["native.cgroupdriver=systemd"],然后重新加载
systemctl daemon-reload systemctl restart docker4. kubelet设置
执行以下命令
【`找不到内容没关系`】
sed -i "s/cgroup-driver=systemd/cgroup-driver=cgroupfs/g" /etc/systemd/system/kubelet.service.d/10-kubeadm.conf【`重启kubelet，一定要执行`】
systemctl enable kubelet && systemctl start kubelet下载proxy、pause、scheduler等国内镜像
需要通过kubeadm来下载K8S需要组件的镜像
1. 查看kubeadm使用的镜像
kubeadm config images list可以看到用的都是国外的镜像，如果你会科学上网（全局模式）应该可以直接拉取
2. 创建脚本，批量从阿里云下载镜像，并修改tag
在每个节点中执行如下命令
vi kubeadm.sh然后将下面内容添加到该文件中
set -e KUBE_VERSION=v1.14.0 KUBE_PAUSE_VERSION=3.1 ETCD_VERSION=3.3.10 CORE_DNS_VERSION=1.3.1 GCR_URL=k8s.gcr.io ALIYUN_URL=registry.cn-hangzhou.aliyuncs.com/google_containers images=(kube-proxy:${KUBE_VERSION} kube-scheduler:${KUBE_VERSION} kube-controller-manager:${KUBE_VERSION} kube-apiserver:${KUBE_VERSION} pause:${KUBE_PAUSE_VERSION} etcd:${ETCD_VERSION} coredns:${CORE_DNS_VERSION}) for imageName in ${images[@]} ; do docker pull $ALIYUN_URL/$imageName docker tag $ALIYUN_URL/$imageName $GCR_URL/$imageName docker rmi $ALIYUN_URL/$imageName done然后执行，运行脚本（注意只在主节点执行）
sh ./kubeadm.sh然后在每个节点中查看下载的镜像
docker images下面将部署K8S所需要的插件
初始化主节点
在初始化前，一定要检查每台服务器kubelet 的版本是否一致
kubelet --version选用一台服务器作为主节点，执行下面命令（需要替换下面的：kubernetes版本信息，以及IP为主节点IP）
kubeadm init --kubernetes-version=1.14.0 --apiserver-advertise-address=192.168.124.138 --pod-network-cidr=10.244.0.0/16【若要重新初始化集群状态：kubeadm reset，然后再进行上述操作】
【期间可能会有版本冲突，那就卸载了重新安装一下对应的版本】
保存好最后kubeadm join等信息：
在successfully后，日志会提示我们后续的操作，并生成两个token，记得保存，比如在本地创建个文件保存
保存到本地文件中
然后按照上面的提示，执行命令
mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config1. 在主节点初始化成功后，可以通过语句查看已经初始化好的K8S插件
在主节点中执行，查看初始化好的插件
kubectl get pods -n kube-system可以看到除了两个DNS没有运行，其他的都运行了
还可以运行下健康检查
curl -k https://localhost:6443/healthz2. 安装DNS网络插件
在主节点： 可以在该网址下选择需要安装的网络插件
https://kubernetes.io/zh-cn/docs/concepts/cluster-administration/addons/
这里我们选择Calico 插件
首先将安装Calico所需的yml文件下载下来
sudo yum install -y wget wget https://docs.projectcalico.org/v3.9/manifests/calico.yaml这个yml文件中有很多镜像，如果不是香港、海外服务器！，需要提前拉取到主节点中
cat calico.yaml|grep image可以参考本人的方案进行拉取，这里使用的是方案中的是阿里云仓库+工作流下载的
需要的可以直接拉取我阿里云仓库的
# 拉取 docker pull crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-kube-controllers-v3.9.6 docker pull crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-cni-v3.9.6 docker pull crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-pod2daemon-flexvol-v3.9.6 docker pull crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-node-v3.9.6 # 改名 docker tag crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-node-v3.9.6 calico/node:v3.9.6 docker tag crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-pod2daemon-flexvol-v3.9.6 calico/pod2daemon-flexvol:v3.9.6 docker tag crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-cni-v3.9.6 calico/cni:v3.9.6 docker tag crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-kube-controllers-v3.9.6 calico/kube-controllers:v3.9.6 #删除 docker rmi crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-kube-controllers-v3.9.6 docker rmi crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-cni-v3.9.6 docker rmi crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-pod2daemon-flexvol-v3.9.6 docker rmi crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-node-v3.9.6然后执行下面的命令进行DNS的初始化
kubectl apply -f calico.yaml执行命令查看是否安装成功
kubectl get pods --all-namespaces -w可以看到全部全部都已经跑起来了
这个结果出来，就代表主节点已经完成！！！
工作节点加入主节点
在主节点的插件都安装好以后，就需要将工作节点加入到主节点中
在前面主节点初始化后，我们保存了kubeadm join的信息
我们只需要在每个工作节点执行kubeadm join信息，即可将工作节点加入到K8S集群中
【这里还是要强调以下，各个节点的kubectl的版本一定要一致】
kubeadm join 192.168.124.138:6443 --token wmeunc.nizafcgw4tm4okjt \ --discovery-token-ca-cert-hash sha256:052e3b32291005afe385265cf9104374959e484963a863c50c89b5500709ba6d最后在主节点（master）中查看K8S集群的情况
kubectl get nodes这样整个K8S集群就部署好了
部署测试：
如果你想部署POD测试K8S集群，可以执行下面操作
1. 在主节点中执行
cat > pod_nginx_rs.yaml <<EOF apiVersion: apps/v1 kind: ReplicaSet metadata: name: nginx labels: tier: frontend spec: replicas: 3 selector: matchLabels: tier: frontend template: metadata: name: nginx labels: tier: frontend spec: containers: - name: nginx image: nginx ports: - containerPort: 80 EOF2. 根据pod_nginx_rs.yml文件创建pod
kubectl apply -f pod_nginx_rs.yaml3. 查看pod
kubectl get pods kubectl get pods -o wide kubectl describe pod nginx4. 删除测试POD
可以通过kubectl将POD进行删除
kubectl delete -f pod_nginx_rs.yaml这样pod_nginx_rs.yaml定义的所有资源就会被删除
通过命令查看，可以看到刚才创建的POD已经被删除
kubectl get pods