k8s_OpenKruise_config

之前做K8S的时候学的东西，最近要清电脑，删掉实在可惜，直接备份一下好了。同时可以在知乎查看 https://zhuanlan.zhihu.com/p/589008170

OpenKruise介绍、部署及核心功能实验

OpenKruise 由 Alibaba 开源，是 Kubernetes 的一个标准扩展，它可以配合原生 Kubernetes 使用，对云原生应用的自动化，比如部署、发布、运维以及可用性防护做了很多贡献。

OpenKruise 是面向自动化场景的 Kubernetes 应用负载扩展控制器。而 Kruise 是 OpenKruise 项目的核心，它是一组控制器，可在应用程序工作负载管理上扩展和补充 Kubernetes 核心控制器。OpenKruise 弥补了 Kubernetes 在应用部署、升级、防护、运维等领域的不足。

实验环境

Mac Catalina
lens(k8s桌面端管理工具)
腾讯云EKS集群 (https://console.cloud.tencent.com/tke2/cluster?rid=1)

核心功能

• 原地升级：原地升级是一种可以避免删除、新建 Pod 的升级镜像能力。它比原生 Deployment/StatefulSet 的重建 Pod 升级更快、更高效，并且避免对 Pod 中其他不需要更新的容器造成干扰
• Sidecar 管理：支持在一个单独的 CR 中定义 sidecar 容器，OpenKruise 能够帮你把这些 Sidecar 容器注入到所有符合条件的 Pod 中。这个过程和 Istio 的注入很相似，但是你可以管理任意你关心的 Sidecar
• 跨多可用区部署：定义一个跨多个可用区的全局 workload、容器，OpenKruise 会帮你在每个可用区创建一个对应的下属 workload。你可以统一管理 workload 的副本数、版本、甚至针对不同可用区采用不同的发布策略
• 镜像预热：支持用户指定在任意范围的节点上下载镜像

安装

中文文档

换成阿里源才顺利

helm install kruise openkruise/kruise --version 1.3.0 --set manager.image.repository=openkruise-registry.cn-hangzhou.cr.aliyuncs.com/openkruise/kruise-manager

在charts里指定需要的参数

架构

整体架构如下：

添加图片注释，不超过 140 字（可选）

OpenKruise所有功能都是通过CRD来提供的

CRD列表

• CloneSet 提供更加高效、确定可控的应用管理和部署能力，支持优雅原地升级、指定删除、发布顺序可配置、并行/灰度发布等丰富的策略，可以满足更多样化的应用场景
• Advanced StatefulSet 基于原生 StatefulSet 之上的增强版本，默认行为与原生完全一致，在此之外提供了原地升级、并行发布（最大不可用）、发布暂停等功能
• SidecarSet 对 sidecar 容器做统一管理，在满足 selector 条件的 Pod 中注入指定的 sidecar 容器
• UnitedDeployment 通过多个 subset workload 将应用部署到多个可用区
• BroadcastJob 配置一个 job，在集群中所有满足条件的 Node 上都跑一个 Pod 任务
• Advanced DaemonSet 基于原生 DaemonSet 之上的增强版本，默认行为与原生一致，在此之外提供了灰度分批、按 Node label 选择、暂停、热升级等发布策略
• AdvancedCronJob 一个扩展的 CronJob 控制器，目前 template 模板支持配置使用 Job 或 BroadcastJob
• ImagePullJob 支持用户指定在任意范围的节点上下载镜像

实验

一、部署

部署服务的yaml文件

apiVersion: apps.kruise.io/v1alpha1
kind: CloneSet
metadata:
  name: demo
  namespace: default
spec:
  replicas: 3
  selector:
    matchLabels:
      app: cs
  template:
    metadata:
      labels:
        app: cs
    spec:
      containers:
      - name: nginx
        image: nginx:alpine
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 80

将上面命名为文件xxx.yaml，然后通过kubectl apply -f xxx.yaml创建

kubectl get cloneset demo

kubectl describe cloneset demo

创建成功之后通过 kubectl describe命令查看对应的 Events 信息，可以发现 cloneset-controller 是直接创建的 Pod，而原生的Deployment 是通过 ReplicaSet 去创建的 Pod

二、扩容

apiVersion: apps.kruise.io/v1alpha1
kind: CloneSet
metadata:
  name: demo
  namespace: default
spec:
  minReadySeconds: 30
  scaleStrategy:
    maxUnavailable: 1  ## to scale, deployment还有一个maxSurge
  replicas: 5
  selector:
    matchLabels:
      app: cs
  template:
    metadata:
      labels:
        app: cs
    spec:
      containers:
      - name: nginx
        image: nginx:alpine
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 80

minReadySeconds: 60 创建了一个pod之后一分钟才会创建第二个

三、缩容

apiVersion: apps.kruise.io/v1alpha1
kind: CloneSet
metadata:
  name: demo
  namespace: default
spec:
  minReadySeconds: 30
  scaleStrategy:
    maxUnavailable: 1
    podsToDelete:
    - demo-9gmzs     # 优先删除这些
  replicas: 4
  selector:
    matchLabels:
      app: cs
  template:
    metadata:
      labels:
        app: cs
    spec:
      containers:
      - name: nginx
        image: nginx:alpine
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 80

• 缩容时，CloneSet可以指定一些pod删除，而 StatefulSet 或者 Deployment 做不到:

• StatefulSet 是根据序号来删除 Pod，而 Deployment/ReplicaSet 目前只能根据控制器里定义的排序来删除。而 CloneSet 允许用户在缩小 replicas 数量的同时，指定想要删除的 Pod 名字

• 如果只是把name加入podsToDelete，而没有修改replicas的话，删完之后会再扩一个pod

• apps.kruise.io/specified-delete: true is also ok

• podsToDelete或 apps.kruise.io/specified-delete: true会有CloneSet 的 maxUnavailable/maxSurge来保护删除， 并且会触发 PreparingDelete生命周期的钩子：官方doc

四、升级

apiVersion: apps.kruise.io/v1alpha1
kind: CloneSet
metadata:
  name: demo
  namespace: default
spec:
  minReadySeconds: 30 
  updateStrategy:
    type: InPlaceIfPossible  #修改1：指定为最大限度的原地升级的方式
  scaleStrategy:
    maxUnavailable: 1  
  replicas: 4
  selector:
    matchLabels:
      app: cs
  template:
    metadata:
      labels:
        app: cs
    spec:
      containers:
      - name: nginx
        image: nginx:1.7.9 #修改2：把镜像版本替换了
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 80

原地升级：

• ReCreate : 删除旧 Pod 和它的 PVC，然后用新版本重新创建出来，这是默认的方式。 (deployment这里默认的升级策略是滚动升级，但这里CloneSet默认的策略是ReCreate。)
• InPlaceIfPossible : 会优先尝试原地升级 Pod，如果不行再采用重建升级
• InPlaceOnly : 只允许采用原地升级，因此，用户只能修改上一条中的限制字段，如果尝试修改其他字段会被拒绝

添加图片注释，不超过 140 字（可选）

区别：

• recreate:

• Pod name and did, 因为pod对象不同了（like deployment）

• uid， 因为对象不同，只是复用了同一个name（like statefulset）

• node name，调度节点大概率不同

• ip，同上

• inplace:

• 调度、分配 IP、挂载盘带来的开销

• 镜像拉取，like dockerfile的分层结构

• 一个pod中的container升级时，其他container不受影响

运行完04-yaml后，会发现pod的状态只有tag变了

可以通过下列命令查看运行情况

kubectl get po -l app=cs

kubectl describe cloneset demo 

kubectl describe po demo-xxxxx

kubectl get po demo-xxxxx -oyaml|grep image

五、灰度

apiVersion: apps.kruise.io/v1alpha1
kind: CloneSet
metadata:
  name: demo
  namespace: default
spec:
  minReadySeconds: 30 
  updateStrategy:
    type: InPlaceIfPossible  
    partition: 2 #修改1：保留旧版本pod的数量
  scaleStrategy:
    maxUnavailable: 1  
  replicas: 4
  selector:
    matchLabels:
      app: cs
  template:
    metadata:
      labels:
        app: cs
    spec:
      containers:
      - name: nginx
        image: nginx:latest #修改2：把镜像版本替换了
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 80

如果安装的时候启用了PreDownloadImageForInPlaceUpdate这个feature，会在所有旧版本pod预热正在灰度的版本

kubectl explain cloneset.spec.updateStrategy.type

kubectl explain cloneset.spec.updateStrategy.inPlaceUpdateStrategy

分批灰度：修改partition（旧版本的pod数量），数字的话=(replicas - partition)，百分比的话=(replicas * (100% - partition))

kubectl apply -f 05-cloneset-updateStrategy-partition.yaml 

kubectl get pods -l app=cs -L controller-revision-hash

kubectl describe po demo-9gmzs

还可以指定优先级等，https://openkruise.io/zh/docs/user-manuals/cloneset#%E5%8D%87%E7%BA%A7%E9%A1%BA%E5%BA%8F

六、最大的坑

中间更换过一次eks集群，之后再kubectl apply -f xxx.yaml的时候便会报错，截止到发布这篇文章的时候，由于框架很新，基本都没有详细的解决方案，但可以根据GitHub这篇issue排查一下：openkruise/kruise#535

报错信息：