Here infrastructure template for kubeadm task. Uses Vagrant and ubuntu.
Скрипты из этого репозитория облегчают процесс установления кластера производственного уровня.
Итак, в курсе мы выяснили, что самый простой сетап с высокой доступностью состоит из 6 элементов:
- балансировщика
- 3 мастер-нод
- 2 рабочих узлов
В корне лежит Vagrantfile.
По умолчанию он настроен на создание 2 мастеров, 1 воркера и 1 лоадбаленсера.
git clone https://github.com/rotoro-cloud/kubeadm-cluster.git
cd kubeadm-cluster
vagrant up
Поднимутся VMs. Их адреса:
- 192.168.66.1X - для мастеров
- 192.168.66.2X - для рабочих
- 192.168.66.30 - для балансировщика
Т.е. controlplane01 будет 192.168.66.11, controlplane02 будет 192.168.66.12 и т.д.
Но сачала давай познакомимся с окружением
Ты можешь подключиться прямо к виртуальной машине с помощью
vagrant ssh node01
Или сделай команду:
vagrant ssh-config
Это покажет тебе адреса VMs, их порты ssh и пути к ключам, чтобы подключиться к ним из твоего любимого ssh-клиента.
Для сетапа высокой доступности необходимый элемент, без него не будет полноценной HA.
В этом сетапе мы используем HAproxy, давай ее настроим.
sudo apt update
sudo apt install -y haproxy
Далее внесем правки в /etc/haproxy/haproxy.cfg, добавив в конец следующее:
frontend kubernetes-frontend
bind 192.168.66.30:6443
mode tcp
option tcplog
default_backend kubernetes-backend
backend kubernetes-backend
mode tcp
option tcp-check
balance roundrobin
server controlplane01 192.168.66.11:6443 check fall 3 rise 2
server controlplane02 192.168.66.12:6443 check fall 3 rise 2
server controlplane03 192.168.66.13:6443 check fall 3 rise 2
Теперь балансировщик будет пересылать трафик на один из трех мастеров. И он достаточно умный не послылать трафик, если мастер в данный момент недоступен.
sudo systemctl restart haproxy
Мы закончили с балансировщиком, он нам больше не понадобится.
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/
lsmod | grep br_netfilter
Если пусто, то:
sudo modprobe br_netfilter
После этого
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sudo sysctl --system
Далее подготовка среды выполнения контейнера. https://kubernetes.io/docs/setup/production-environment/container-runtimes/
У меня docker, поэтому:
wget get.docker.com
bash index.html
sudo systemctl enable docker
sudo usermod -aG docker vagrant
Теперь поставим kubeadm, kubelet и kubectl
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/
Добавим нужные утилиты, хотя docker уже их должен был добавить:
sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl
Добавим ключи репозитория google и сам репо:
sudo curl -fsSLo /usr/share/keyrings/kubernetes-archive-keyring.gpg https://packages.cloud.google.com/apt/doc/apt-key.gpg
echo "deb [signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list
Теперь поставим наши утилиты:
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/ Проинициализируем мастер
sudo kubeadm init --control-plane-endpoint="192.168.66.30" --upload-certs --apiserver-advertise-address=192.168.66.11 --pod-network-cidr=10.244.0.0/16
Сразу сделаем себе доступ для kubectl:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
Присоединим остальные матера командой из вывода kubeadm
sudo kubeadm join 192.168.66.30:6443 --apiserver-advertise-address=192.168.66.12...
Присоединим остальные матера командой из вывода kubeadm
sudo kubeadm join 192.168.66.30:6443...
Развернем сетевой плагин:
kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')"