Cluster Kubernetes CentOS 7

Este laboratório foi montado utilizando virtualização com o QEMU, ferramenta de virtualização nativa no Fedora 30. Criei 3 VMs com o CentOS 7.

Um detalhe importante antes de prosseguir com a instalação do cluster será configurar o DNS local em todos os hosts que farão parte do cluster!

192.168.122.10 master.local master

192.168.122.20 no1.local no1

192.168.122.30 no2.local no2

Não podemos esquecer do Firewall! Vamos liberar as portas que serão necessárias para o cluster no nó master.

firewall-cmd --permanent --add-port=6443/tcp

firewall-cmd --permanent --add-port=2379-2380/tcp

firewall-cmd --permanent --add-port=10250/tcp

firewall-cmd --permanent --add-port=10251/tcp

firewall-cmd --permanent --add-port=10252/tcp

firewall-cmd --permanent --add-port=10255/tcp

As regras de firewall para os nós escravos serão estas!

firewall-cmd --permanent --add-port=10250/tcp

firewall-cmd --permanent --add-port=10255/tcp

firewall-cmd --permanent --add-port=8472/udp

Agora vamos para instalação e configuração! O script está bem fácil de entender, praticamente desativamos o SELinux e swap. Instalamos o Docker, criamos o repositório do Kubernetes, instalamos o Kubernetes e criamos configurações de rede para o k8s.

sed -i --follow-symlinks 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux

swapoff -a

yum install -y docker

systemctl enable docker && systemctl start docker

cat <<EOF > /etc/yum.repos.d/kubernetes.repo

[kubernetes]

name=Kubernetes

baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64

enabled=1

gpgcheck=1

repo_gpgcheck=1

gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg

exclude=kube*

EOF

yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes

systemctl enable kubelet && systemctl start kubelet

cat <<EOF> /etc/sysctl.d/k8s.conf

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

EOF

sysctl --system

Um detalhe importante é não esquecer de desativar o swap no /etc/fstab. Neste script ele desativa temporariamente, ao reiniciar o swap volta a funcionar. O Kubernetes não aceita swap e até dá pra entender o motivo. Em alguns players de Cloud as distribuições escolhidas para provisionar serviços já vem sem swap.

Na segunda parte vamos fazer alguns ajustes finais para que o nó master entre em operação. O comando abaixo serve pra iniciarmos as configurações do cluster que praticamente é feita automaticamente pelo kubeadm. Qualquer coisa que sair fora do esperado será retornado um mensagem sobre como prosseguir.

kubeadm init --apiserver-advertise-address $(hostname -i)

Repare que a saída do comando poderá demorar um pouco porque ele irá baixar algumas imagens do Docker. Pra verificar o processo de download das imagens você pode usar o comando watch -n1 docker images

Se tudo ocorrer bem deverá aparecer a mensagem Your Kubernetes control-plane has initialized successfully!

Outra informação importante na saída do comando é a chave que será utilizada nos nós escravos para serem adicionadas ao cluster.

kubeadm join 192.168.122.84:6443 --token x92kfn.j95xqjm7ky497hyz --discovery-token-ca-cert-hash sha256:f7c293b80d941e9f5065af3fcc6f3aa4dfe576c8f32aa189267109b9e105e0b8

Se por acaso você esqueceu de anotar ou limpou o terminal você pode visualizar novamente com o comando:

kubeadm token create --print-join-command

Os próximos comandos serão necessários e também são mencionados na saída do comando acima. Em ordem, será criado uma pasta oculta, copia do arquivo admin.conf para o diretório .kube com nome config e atribuído permissões de leitura/escrita do usuário atual no arquivo config.

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

Terminado estas etapas vamos verificar se o nó master do cluster está em execução, pra isso basta rodar o comando:

kubectl get nodes

Perceba que o status do serviço esta como NotReady, pra resolver isso precisamos baixar as imagens que criarão Pods de rede para estabelecer conectividade entre os nós do cluster.

kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')"

Este processo poderá demorar um pouco porque novamente irá baixar imagens Docker, você pode acompanhar o processo através do comando watch -n1 docker images

Efetuado o download das imagens execute o comando novamente e verifique que o status do serviço mudou para Ready.

[root@master ~]# kubectl get nodes

NAME STATUS ROLES AGE VERSION

master.local Ready master 24h v1.16.0

no1.local Ready <none> 8h v1.16.1

no2.local Ready <none> 8h v1.16.1

[root@master ~]#

Cluster em Docker com o Swarm CentOS 8

Atualmente criar um cluster em Docker tornou-se uma tarefa muito simples! Basta instalar o Docker e rodar alguns comandos. No CentOS 8 as coisas mudaram um pouco, por padrão o CentOS 8 vem com o repositório que instala o Podman que é um gerenciador de containers. Não iremos utilizar este cara, vamos usar o Docker CE!

Para o nosso cluster vamos utilizar 3 VMs, uma será o Manager e as outras duas os Workers.

A primeira coisa que precisamos fazer é adicionar um repositório com o Docker CE (Community Edition).

dnf config-manager --add-repo=https://download.docker.com/linux/centos/docker-ce.repo

Com o repositório habilitado vamos instalar o Docker CE de fato!

dnf -y install docker-ce --nobest

Vamos colocar o Docker na inicialização do sistema e iniciar o serviço!

systemctl enable --now docker && systemctl start docker

Liberando as portas no Firewall que serão utilizadas pelo cluster:

firewall-cmd --permanent --add-port=2376/tcp

firewall-cmd --permanent --add-port=2377/tcp

firewall-cmd --permanent --add-port=7946/tcp

firewall-cmd --permanent --add-port=7946/udp

firewall-cmd --permanent --add-port=4789/udp

firewall-cmd --reload

Agora vamos rodar o comando que inicia o cluster do Docker. No nó manager que será o responsável por controlar o cluster rode este comando:

docker swarm init

A saída do comando retorná algo assim:

docker swarm join --token SWMTKN-1-0neqtyuuncfv18jqq4b3k0o0rbaxbtsmzsc5luwpo7fu3itfeo-805u08d47qe2rw8a92816h489 192.168.122.127:2377

Este será o comando que precisa ser executado nos nós workers, escravos. Lembrando que precisa ser instalado o Docker e liberado as portas também nos workers.

Futuramente se precisar deste token novamente basta executar o comando:

docker swarm join-token worker

Outra característica bacana do Swarm é que se quisermos adicionar mais Managers no cluster basta substituirmos worker por manager:

docker swarm join-token manager

Depois de inserido os nós escravos no cluster é possível verificar eles em execução com o comando abaixo, Este comando deve ser executado no nó manager!

[root@node1 ~]# docker node ls

ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION

b55thyswsvnwxhcgp4ktbudvp * node1 Ready Active Leader 18.09.1

kbe73mfnj7cdanlliaur3cffh node2 Ready Active 18.09.1

Agora com o cluster em operação vamos rodar alguns comandos pra verificar nosso cluster trabalhando de fato!

Primeiro vamos criar uma serviço simples, estes comandos sempre executados no manager!

docker service create nginx

Agora vamos escalar o serviço para 5 containers:

[root@node1 ~]# docker service scale awesome_wilson=5

awesome_wilson scaled to 5

overall progress: 5 out of 5 tasks

1/5: running [==================================================>]

2/5: running [==================================================>]

3/5: running [==================================================>]

4/5: running [==================================================>]

5/5: running [==================================================>]

verify: Service converged

[root@node1 ~]# docker service ls

ID NAME MODE REPLICAS IMAGE PORTS

rcoa1nx0e4vs awesome_wilson replicated 5/5 nginx:latest

Se você rodar o comando docker stats nos nós escravos vai perceber que existem containers em execução, isso aconteceu porque o manager escalonou para os outros nós do cluster.

Em outro Post vou mostrar como utilizar um frontend web para gerenciar nosso cluster em Docker. Iremos instalar o Portainer.io

Web UI Kubernetes (Dashboard)

Vamos instalar a interface Web do Kubernetes para gerenciamento do cluster. Essa interface é criada pelo próprio Google.

No nó master do cluster aplique os comandos abaixo!

kubectl create -f https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yaml

Editar os serviços do Kubernetes em execução e alterar de ClusterIP para NodePort

kubectl edit services kubernetes-dashboard -n kube-system

Descubrindo a porta que o K8S definiu para o endpoint do Dashboard!

kubectl -n kube-system get services

Criar conta de serviço para o kube-system

kubectl create serviceaccount k8sadmin -n kube-system

Permitindo usuário k8sadmin a controle total do cluster!

kubectl create clusterrolebinding k8sadmin --clusterrole=cluster-admin --serviceaccount=kube-system:k8sadmin

Pegando o token de acesso!

kubectl get secret -n kube-system | grep k8sadmin | cut -d " " -f1 | xargs -n 1 | xargs kubectl get secret -o 'jsonpath={.data.token}' -n kube-system | base64 --decode

Instalando Docker Debian 12

apt install curl gnupg2 software-properties-common apt-transport-https ca-certificates -y

curl -fsSL https://download.docker.com/linux/debian/gpg > /etc/apt/trusted.gpg.d/docker-ce.asc

add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/debian $(lsb_release -cs) stable" -y

apt update

apt install docker-ce docker-ce-cli -y

systemctl start docker

systemctl enable docker

Page updated

Google Sites

Report abuse