[Kubernetes] Kubernetes 노드들의 정보 수집 예시

[ish-hcc]

현재 cm-honeybee를 통해서 수집하여 볼 수 있는 Kubernetes 정보의 형상입니다.
타 모듈 개발을 하는데 참고가 되시길 바라며 보완할 점이 있으시면 댓글 달아주시면 감사하겠습니다.

Kubernetes Source Group 단위 수집 예시

http://210.207.104.224:8081/honeybee/source_group/db652288-047b-480b-ac86-3ef7ed57f68e/kubernetes

Source Group에 여러 노드들의 Connection Info들이 등록되고
On-premise 기준으로 Master역할을 하는 Kubernetes Node에서 API를 통해 정보를 수집하기 때문에
Kubernetes Master Node에 해당 되는 부분만 Kubernetes Node들의 정보가 채워져서 보여집니다.

Source Group 단위 Kubernetes 정보 수집 예시

{
  "servers": [
    {
      "node_count": {
        "total": 0,
        "control_plane": 0,
        "worker": 0
      },
      "nodes": null,
      "workloads": null
    },
    {
      "node_count": {
        "total": 2,
        "control_plane": 1,
        "worker": 1
      },
      "nodes": [
        {
          "type": "control-plane",
          "name": "k8s-master.example.com",
          "labels": {
            "beta.kubernetes.io/arch": "amd64",
            "beta.kubernetes.io/os": "linux",
            "kubernetes.io/arch": "amd64",
            "kubernetes.io/hostname": "k8s-master.example.com",
            "kubernetes.io/os": "linux",
            "node-role.kubernetes.io/control-plane": "",
            "node.kubernetes.io/exclude-from-external-load-balancers": ""
          },
          "addresses": [
            {
              "address": "192.168.110.44",
              "type": "InternalIP"
            },
            {
              "address": "k8s-master.example.com",
              "type": "Hostname"
            }
          ],
          "node_spec": {
            "cpu": 8,
            "memory": 15988,
            "ephemeral_storage": 79205
          },
          "node_info": {
            "architecture": "amd64",
            "bootID": "9001c36c-0ab5-4d38-818e-d27e1ea81d9d",
            "containerRuntimeVersion": "cri-o://1.32.1",
            "kernelVersion": "5.15.0-142-generic",
            "kubeProxyVersion": "v1.32.3",
            "kubeletVersion": "v1.32.3",
            "machineID": "8bb703c5d378420db97f6636cf454530",
            "operatingSystem": "linux",
            "osImage": "Ubuntu 22.04.5 LTS",
            "systemUUID": "16670fdc-0605-4966-8a28-9002dbf63d0a"
          }
        },
        {
          "type": "worker",
          "name": "k8s-worker.example.com",
          "labels": {
            "beta.kubernetes.io/arch": "amd64",
            "beta.kubernetes.io/os": "linux",
            "kubernetes.io/arch": "amd64",
            "kubernetes.io/hostname": "k8s-worker.example.com",
            "kubernetes.io/os": "linux"
          },
          "addresses": [
            {
              "address": "192.168.110.36",
              "type": "InternalIP"
            },
            {
              "address": "k8s-worker.example.com",
              "type": "Hostname"
            }
          ],
          "node_spec": {
            "cpu": 8,
            "memory": 15988,
            "ephemeral_storage": 79205
          },
          "node_info": {
            "architecture": "amd64",
            "bootID": "c0b1aca4-2d80-4e72-a726-789f8154d8da",
            "containerRuntimeVersion": "cri-o://1.32.1",
            "kernelVersion": "5.15.0-142-generic",
            "kubeProxyVersion": "v1.32.3",
            "kubeletVersion": "v1.32.3",
            "machineID": "8bb703c5d378420db97f6636cf454530",
            "operatingSystem": "linux",
            "osImage": "Ubuntu 22.04.5 LTS",
            "systemUUID": "7108dab3-c1d0-42bd-91cb-918d57c17986"
          }
        }
      ],
      "workloads": {
        "configmaps": [
          {
            "Name": "kube-root-ca.crt",
            "Namespace": "calico-apiserver"
          },
          {
            "Name": "active-operator",
            "Namespace": "calico-system"
          },
          {
            "Name": "cni-config",
            "Namespace": "calico-system"
          },
          {
            "Name": "kube-root-ca.crt",
            "Namespace": "calico-system"
          },
          {
            "Name": "tigera-ca-bundle",
            "Namespace": "calico-system"
          },
          {
            "Name": "kube-root-ca.crt",
            "Namespace": "default"
          },
          {
            "Name": "kube-root-ca.crt",
            "Namespace": "kube-node-lease"
          },
          {
            "Name": "cluster-info",
            "Namespace": "kube-public"
          },
          {
            "Name": "kube-root-ca.crt",
            "Namespace": "kube-public"
          },
          {
            "Name": "coredns",
            "Namespace": "kube-system"
          },
          {
            "Name": "extension-apiserver-authentication",
            "Namespace": "kube-system"
          },
          {
            "Name": "kube-apiserver-legacy-service-account-token-tracking",
            "Namespace": "kube-system"
          },
          {
            "Name": "kube-proxy",
            "Namespace": "kube-system"
          },
          {
            "Name": "kube-root-ca.crt",
            "Namespace": "kube-system"
          },
          {
            "Name": "kubeadm-config",
            "Namespace": "kube-system"
          },
          {
            "Name": "kubelet-config",
            "Namespace": "kube-system"
          },
          {
            "Name": "kube-root-ca.crt",
            "Namespace": "metallb-system"
          },
          {
            "Name": "metallb-excludel2",
            "Namespace": "metallb-system"
          },
          {
            "Name": "kube-root-ca.crt",
            "Namespace": "tigera-operator"
          }
        ],
        "cronjobs": null,
        "daemonsets": [
          {
            "Name": "calico-node",
            "Namespace": "calico-system"
          },
          {
            "Name": "csi-node-driver",
            "Namespace": "calico-system"
          },
          {
            "Name": "kube-proxy",
            "Namespace": "kube-system"
          },
          {
            "Name": "speaker",
            "Namespace": "metallb-system"
          }
        ],
        "deployments": [
          {
            "Name": "calico-apiserver",
            "Namespace": "calico-apiserver"
          },
          {
            "Name": "calico-kube-controllers",
            "Namespace": "calico-system"
          },
          {
            "Name": "calico-typha",
            "Namespace": "calico-system"
          },
          {
            "Name": "coredns",
            "Namespace": "kube-system"
          },
          {
            "Name": "controller",
            "Namespace": "metallb-system"
          },
          {
            "Name": "tigera-operator",
            "Namespace": "tigera-operator"
          }
        ],
        "ingresses": null,
        "job": null,
        "namespaces": [
          {
            "Name": "calico-apiserver",
            "Status": "Active"
          },
          {
            "Name": "calico-system",
            "Status": "Active"
          },
          {
            "Name": "default",
            "Status": "Active"
          },
          {
            "Name": "kube-node-lease",
            "Status": "Active"
          },
          {
            "Name": "kube-public",
            "Status": "Active"
          },
          {
            "Name": "kube-system",
            "Status": "Active"
          },
          {
            "Name": "metallb-system",
            "Status": "Active"
          },
          {
            "Name": "tigera-operator",
            "Status": "Active"
          }
        ],
        "persistentvolumeclaims": null,
        "persistentvolumes": null,
        "pods": [
          {
            "Name": "calico-apiserver-cdc4df9fc-72dpq",
            "Namespace": "calico-apiserver",
            "Status": "Running"
          },
          {
            "Name": "calico-apiserver-cdc4df9fc-qwlq8",
            "Namespace": "calico-apiserver",
            "Status": "Running"
          },
          {
            "Name": "calico-kube-controllers-94658c7b6-l2ttt",
            "Namespace": "calico-system",
            "Status": "Running"
          },
          {
            "Name": "calico-node-74ggr",
            "Namespace": "calico-system",
            "Status": "Running"
          },
          {
            "Name": "calico-node-cgpc6",
            "Namespace": "calico-system",
            "Status": "Running"
          },
          {
            "Name": "calico-typha-77997b7644-9m959",
            "Namespace": "calico-system",
            "Status": "Running"
          },
          {
            "Name": "csi-node-driver-bbzxh",
            "Namespace": "calico-system",
            "Status": "Running"
          },
          {
            "Name": "csi-node-driver-rrfpt",
            "Namespace": "calico-system",
            "Status": "Running"
          },
          {
            "Name": "coredns-668d6bf9bc-2w7zv",
            "Namespace": "kube-system",
            "Status": "Running"
          },
          {
            "Name": "coredns-668d6bf9bc-b7992",
            "Namespace": "kube-system",
            "Status": "Running"
          },
          {
            "Name": "etcd-k8s-master.example.com",
            "Namespace": "kube-system",
            "Status": "Running"
          },
          {
            "Name": "kube-apiserver-k8s-master.example.com",
            "Namespace": "kube-system",
            "Status": "Running"
          },
          {
            "Name": "kube-controller-manager-k8s-master.example.com",
            "Namespace": "kube-system",
            "Status": "Running"
          },
          {
            "Name": "kube-proxy-98mqp",
            "Namespace": "kube-system",
            "Status": "Running"
          },
          {
            "Name": "kube-proxy-kpqzv",
            "Namespace": "kube-system",
            "Status": "Running"
          },
          {
            "Name": "kube-scheduler-k8s-master.example.com",
            "Namespace": "kube-system",
            "Status": "Running"
          },
          {
            "Name": "controller-bb5f47665-h8jjk",
            "Namespace": "metallb-system",
            "Status": "Running"
          },
          {
            "Name": "speaker-8ff6j",
            "Namespace": "metallb-system",
            "Status": "Running"
          },
          {
            "Name": "speaker-9kzh5",
            "Namespace": "metallb-system",
            "Status": "Running"
          },
          {
            "Name": "tigera-operator-789496d6f5-9xv26",
            "Namespace": "tigera-operator",
            "Status": "Running"
          }
        ],
        "replicasets": [
          {
            "Name": "calico-apiserver-cdc4df9fc",
            "Namespace": "calico-apiserver"
          },
          {
            "Name": "calico-kube-controllers-94658c7b6",
            "Namespace": "calico-system"
          },
          {
            "Name": "calico-typha-77997b7644",
            "Namespace": "calico-system"
          },
          {
            "Name": "coredns-668d6bf9bc",
            "Namespace": "kube-system"
          },
          {
            "Name": "controller-bb5f47665",
            "Namespace": "metallb-system"
          },
          {
            "Name": "tigera-operator-789496d6f5",
            "Namespace": "tigera-operator"
          }
        ],
        "secrets": [
          {
            "Name": "calico-apiserver-certs",
            "Namespace": "calico-apiserver"
          },
          {
            "Name": "node-certs",
            "Namespace": "calico-system"
          },
          {
            "Name": "typha-certs",
            "Namespace": "calico-system"
          },
          {
            "Name": "memberlist",
            "Namespace": "metallb-system"
          },
          {
            "Name": "metallb-webhook-cert",
            "Namespace": "metallb-system"
          },
          {
            "Name": "calico-apiserver-certs",
            "Namespace": "tigera-operator"
          },
          {
            "Name": "node-certs",
            "Namespace": "tigera-operator"
          },
          {
            "Name": "sh.helm.release.v1.calico.v1",
            "Namespace": "tigera-operator"
          },
          {
            "Name": "tigera-ca-private",
            "Namespace": "tigera-operator"
          },
          {
            "Name": "typha-certs",
            "Namespace": "tigera-operator"
          }
        ],
        "services": [
          {
            "ClusterIP": "10.97.89.105",
            "Name": "calico-api",
            "Namespace": "calico-apiserver",
            "Type": "ClusterIP"
          },
          {
            "ClusterIP": "None",
            "Name": "calico-kube-controllers-metrics",
            "Namespace": "calico-system",
            "Type": "ClusterIP"
          },
          {
            "ClusterIP": "10.104.232.20",
            "Name": "calico-typha",
            "Namespace": "calico-system",
            "Type": "ClusterIP"
          },
          {
            "ClusterIP": "10.96.0.1",
            "Name": "kubernetes",
            "Namespace": "default",
            "Type": "ClusterIP"
          },
          {
            "ClusterIP": "10.96.0.10",
            "Name": "kube-dns",
            "Namespace": "kube-system",
            "Type": "ClusterIP"
          },
          {
            "ClusterIP": "10.104.192.132",
            "Name": "metallb-webhook-service",
            "Namespace": "metallb-system",
            "Type": "ClusterIP"
          }
        ],
        "servicesaccounts": [
          {
            "Name": "calico-apiserver",
            "Namespace": "calico-apiserver"
          },
          {
            "Name": "default",
            "Namespace": "calico-apiserver"
          },
          {
            "Name": "calico-cni-plugin",
            "Namespace": "calico-system"
          },
          {
            "Name": "calico-kube-controllers",
            "Namespace": "calico-system"
          },
          {
            "Name": "calico-node",
            "Namespace": "calico-system"
          },
          {
            "Name": "calico-typha",
            "Namespace": "calico-system"
          },
          {
            "Name": "csi-node-driver",
            "Namespace": "calico-system"
          },
          {
            "Name": "default",
            "Namespace": "calico-system"
          },
          {
            "Name": "default",
            "Namespace": "default"
          },
          {
            "Name": "default",
            "Namespace": "kube-node-lease"
          },
          {
            "Name": "default",
            "Namespace": "kube-public"
          },
          {
            "Name": "attachdetach-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "bootstrap-signer",
            "Namespace": "kube-system"
          },
          {
            "Name": "certificate-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "clusterrole-aggregation-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "coredns",
            "Namespace": "kube-system"
          },
          {
            "Name": "cronjob-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "daemon-set-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "default",
            "Namespace": "kube-system"
          },
          {
            "Name": "deployment-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "disruption-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "endpoint-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "endpointslice-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "endpointslicemirroring-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "ephemeral-volume-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "expand-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "generic-garbage-collector",
            "Namespace": "kube-system"
          },
          {
            "Name": "horizontal-pod-autoscaler",
            "Namespace": "kube-system"
          },
          {
            "Name": "job-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "kube-proxy",
            "Namespace": "kube-system"
          },
          {
            "Name": "legacy-service-account-token-cleaner",
            "Namespace": "kube-system"
          },
          {
            "Name": "namespace-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "node-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "persistent-volume-binder",
            "Namespace": "kube-system"
          },
          {
            "Name": "pod-garbage-collector",
            "Namespace": "kube-system"
          },
          {
            "Name": "pv-protection-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "pvc-protection-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "replicaset-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "replication-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "resourcequota-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "root-ca-cert-publisher",
            "Namespace": "kube-system"
          },
          {
            "Name": "service-account-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "statefulset-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "token-cleaner",
            "Namespace": "kube-system"
          },
          {
            "Name": "ttl-after-finished-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "ttl-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "validatingadmissionpolicy-status-controller",
            "Namespace": "kube-system"
          },
          {
            "Name": "controller",
            "Namespace": "metallb-system"
          },
          {
            "Name": "default",
            "Namespace": "metallb-system"
          },
          {
            "Name": "speaker",
            "Namespace": "metallb-system"
          },
          {
            "Name": "default",
            "Namespace": "tigera-operator"
          },
          {
            "Name": "tigera-operator",
            "Namespace": "tigera-operator"
          }
        ],
        "statefulsets": null,
        "storageclasses": null
      }
    },
    {
      "node_count": {
        "total": 0,
        "control_plane": 0,
        "worker": 0
      },
      "nodes": null,
      "workloads": null
    },
    {
      "node_count": {
        "total": 0,
        "control_plane": 0,
        "worker": 0
      },
      "nodes": null,
      "workloads": null
    },
    {
      "node_count": {
        "total": 0,
        "control_plane": 0,
        "worker": 0
      },
      "nodes": null,
      "workloads": null
    }
  ]
}

Kubernetes Connection Info 단위 수집 예시

http://210.207.104.224:8081/honeybee/source_group/db652288-047b-480b-ac86-3ef7ed57f68e/connection_info/7b5ce31d-a5dc-499b-83c0-e3b816c4d024/kubernetes

Kubernetes Master Node에 해당 되는 Connection Info를 조회했을때 보여지는 데이터 입니다.

Connection Info 단위 Kubernetes 정보 수집 예시

{
  "node_count": {
    "total": 2,
    "control_plane": 1,
    "worker": 1
  },
  "nodes": [
    {
      "type": "control-plane",
      "name": "k8s-master.example.com",
      "labels": {
        "beta.kubernetes.io/arch": "amd64",
        "beta.kubernetes.io/os": "linux",
        "kubernetes.io/arch": "amd64",
        "kubernetes.io/hostname": "k8s-master.example.com",
        "kubernetes.io/os": "linux",
        "node-role.kubernetes.io/control-plane": "",
        "node.kubernetes.io/exclude-from-external-load-balancers": ""
      },
      "addresses": [
        {
          "address": "192.168.110.44",
          "type": "InternalIP"
        },
        {
          "address": "k8s-master.example.com",
          "type": "Hostname"
        }
      ],
      "node_spec": {
        "cpu": 8,
        "memory": 15988,
        "ephemeral_storage": 79205
      },
      "node_info": {
        "architecture": "amd64",
        "bootID": "9001c36c-0ab5-4d38-818e-d27e1ea81d9d",
        "containerRuntimeVersion": "cri-o://1.32.1",
        "kernelVersion": "5.15.0-142-generic",
        "kubeProxyVersion": "v1.32.3",
        "kubeletVersion": "v1.32.3",
        "machineID": "8bb703c5d378420db97f6636cf454530",
        "operatingSystem": "linux",
        "osImage": "Ubuntu 22.04.5 LTS",
        "systemUUID": "16670fdc-0605-4966-8a28-9002dbf63d0a"
      }
    },
    {
      "type": "worker",
      "name": "k8s-worker.example.com",
      "labels": {
        "beta.kubernetes.io/arch": "amd64",
        "beta.kubernetes.io/os": "linux",
        "kubernetes.io/arch": "amd64",
        "kubernetes.io/hostname": "k8s-worker.example.com",
        "kubernetes.io/os": "linux"
      },
      "addresses": [
        {
          "address": "192.168.110.36",
          "type": "InternalIP"
        },
        {
          "address": "k8s-worker.example.com",
          "type": "Hostname"
        }
      ],
      "node_spec": {
        "cpu": 8,
        "memory": 15988,
        "ephemeral_storage": 79205
      },
      "node_info": {
        "architecture": "amd64",
        "bootID": "c0b1aca4-2d80-4e72-a726-789f8154d8da",
        "containerRuntimeVersion": "cri-o://1.32.1",
        "kernelVersion": "5.15.0-142-generic",
        "kubeProxyVersion": "v1.32.3",
        "kubeletVersion": "v1.32.3",
        "machineID": "8bb703c5d378420db97f6636cf454530",
        "operatingSystem": "linux",
        "osImage": "Ubuntu 22.04.5 LTS",
        "systemUUID": "7108dab3-c1d0-42bd-91cb-918d57c17986"
      }
    }
  ],
  "workloads": {
    "configmaps": [
      {
        "Name": "kube-root-ca.crt",
        "Namespace": "calico-apiserver"
      },
      {
        "Name": "active-operator",
        "Namespace": "calico-system"
      },
      {
        "Name": "cni-config",
        "Namespace": "calico-system"
      },
      {
        "Name": "kube-root-ca.crt",
        "Namespace": "calico-system"
      },
      {
        "Name": "tigera-ca-bundle",
        "Namespace": "calico-system"
      },
      {
        "Name": "kube-root-ca.crt",
        "Namespace": "default"
      },
      {
        "Name": "kube-root-ca.crt",
        "Namespace": "kube-node-lease"
      },
      {
        "Name": "cluster-info",
        "Namespace": "kube-public"
      },
      {
        "Name": "kube-root-ca.crt",
        "Namespace": "kube-public"
      },
      {
        "Name": "coredns",
        "Namespace": "kube-system"
      },
      {
        "Name": "extension-apiserver-authentication",
        "Namespace": "kube-system"
      },
      {
        "Name": "kube-apiserver-legacy-service-account-token-tracking",
        "Namespace": "kube-system"
      },
      {
        "Name": "kube-proxy",
        "Namespace": "kube-system"
      },
      {
        "Name": "kube-root-ca.crt",
        "Namespace": "kube-system"
      },
      {
        "Name": "kubeadm-config",
        "Namespace": "kube-system"
      },
      {
        "Name": "kubelet-config",
        "Namespace": "kube-system"
      },
      {
        "Name": "kube-root-ca.crt",
        "Namespace": "metallb-system"
      },
      {
        "Name": "metallb-excludel2",
        "Namespace": "metallb-system"
      },
      {
        "Name": "kube-root-ca.crt",
        "Namespace": "tigera-operator"
      }
    ],
    "cronjobs": null,
    "daemonsets": [
      {
        "Name": "calico-node",
        "Namespace": "calico-system"
      },
      {
        "Name": "csi-node-driver",
        "Namespace": "calico-system"
      },
      {
        "Name": "kube-proxy",
        "Namespace": "kube-system"
      },
      {
        "Name": "speaker",
        "Namespace": "metallb-system"
      }
    ],
    "deployments": [
      {
        "Name": "calico-apiserver",
        "Namespace": "calico-apiserver"
      },
      {
        "Name": "calico-kube-controllers",
        "Namespace": "calico-system"
      },
      {
        "Name": "calico-typha",
        "Namespace": "calico-system"
      },
      {
        "Name": "coredns",
        "Namespace": "kube-system"
      },
      {
        "Name": "controller",
        "Namespace": "metallb-system"
      },
      {
        "Name": "tigera-operator",
        "Namespace": "tigera-operator"
      }
    ],
    "ingresses": null,
    "job": null,
    "namespaces": [
      {
        "Name": "calico-apiserver",
        "Status": "Active"
      },
      {
        "Name": "calico-system",
        "Status": "Active"
      },
      {
        "Name": "default",
        "Status": "Active"
      },
      {
        "Name": "kube-node-lease",
        "Status": "Active"
      },
      {
        "Name": "kube-public",
        "Status": "Active"
      },
      {
        "Name": "kube-system",
        "Status": "Active"
      },
      {
        "Name": "metallb-system",
        "Status": "Active"
      },
      {
        "Name": "tigera-operator",
        "Status": "Active"
      }
    ],
    "persistentvolumeclaims": null,
    "persistentvolumes": null,
    "pods": [
      {
        "Name": "calico-apiserver-cdc4df9fc-72dpq",
        "Namespace": "calico-apiserver",
        "Status": "Running"
      },
      {
        "Name": "calico-apiserver-cdc4df9fc-qwlq8",
        "Namespace": "calico-apiserver",
        "Status": "Running"
      },
      {
        "Name": "calico-kube-controllers-94658c7b6-l2ttt",
        "Namespace": "calico-system",
        "Status": "Running"
      },
      {
        "Name": "calico-node-74ggr",
        "Namespace": "calico-system",
        "Status": "Running"
      },
      {
        "Name": "calico-node-cgpc6",
        "Namespace": "calico-system",
        "Status": "Running"
      },
      {
        "Name": "calico-typha-77997b7644-9m959",
        "Namespace": "calico-system",
        "Status": "Running"
      },
      {
        "Name": "csi-node-driver-bbzxh",
        "Namespace": "calico-system",
        "Status": "Running"
      },
      {
        "Name": "csi-node-driver-rrfpt",
        "Namespace": "calico-system",
        "Status": "Running"
      },
      {
        "Name": "coredns-668d6bf9bc-2w7zv",
        "Namespace": "kube-system",
        "Status": "Running"
      },
      {
        "Name": "coredns-668d6bf9bc-b7992",
        "Namespace": "kube-system",
        "Status": "Running"
      },
      {
        "Name": "etcd-k8s-master.example.com",
        "Namespace": "kube-system",
        "Status": "Running"
      },
      {
        "Name": "kube-apiserver-k8s-master.example.com",
        "Namespace": "kube-system",
        "Status": "Running"
      },
      {
        "Name": "kube-controller-manager-k8s-master.example.com",
        "Namespace": "kube-system",
        "Status": "Running"
      },
      {
        "Name": "kube-proxy-98mqp",
        "Namespace": "kube-system",
        "Status": "Running"
      },
      {
        "Name": "kube-proxy-kpqzv",
        "Namespace": "kube-system",
        "Status": "Running"
      },
      {
        "Name": "kube-scheduler-k8s-master.example.com",
        "Namespace": "kube-system",
        "Status": "Running"
      },
      {
        "Name": "controller-bb5f47665-h8jjk",
        "Namespace": "metallb-system",
        "Status": "Running"
      },
      {
        "Name": "speaker-8ff6j",
        "Namespace": "metallb-system",
        "Status": "Running"
      },
      {
        "Name": "speaker-9kzh5",
        "Namespace": "metallb-system",
        "Status": "Running"
      },
      {
        "Name": "tigera-operator-789496d6f5-9xv26",
        "Namespace": "tigera-operator",
        "Status": "Running"
      }
    ],
    "replicasets": [
      {
        "Name": "calico-apiserver-cdc4df9fc",
        "Namespace": "calico-apiserver"
      },
      {
        "Name": "calico-kube-controllers-94658c7b6",
        "Namespace": "calico-system"
      },
      {
        "Name": "calico-typha-77997b7644",
        "Namespace": "calico-system"
      },
      {
        "Name": "coredns-668d6bf9bc",
        "Namespace": "kube-system"
      },
      {
        "Name": "controller-bb5f47665",
        "Namespace": "metallb-system"
      },
      {
        "Name": "tigera-operator-789496d6f5",
        "Namespace": "tigera-operator"
      }
    ],
    "secrets": [
      {
        "Name": "calico-apiserver-certs",
        "Namespace": "calico-apiserver"
      },
      {
        "Name": "node-certs",
        "Namespace": "calico-system"
      },
      {
        "Name": "typha-certs",
        "Namespace": "calico-system"
      },
      {
        "Name": "memberlist",
        "Namespace": "metallb-system"
      },
      {
        "Name": "metallb-webhook-cert",
        "Namespace": "metallb-system"
      },
      {
        "Name": "calico-apiserver-certs",
        "Namespace": "tigera-operator"
      },
      {
        "Name": "node-certs",
        "Namespace": "tigera-operator"
      },
      {
        "Name": "sh.helm.release.v1.calico.v1",
        "Namespace": "tigera-operator"
      },
      {
        "Name": "tigera-ca-private",
        "Namespace": "tigera-operator"
      },
      {
        "Name": "typha-certs",
        "Namespace": "tigera-operator"
      }
    ],
    "services": [
      {
        "ClusterIP": "10.97.89.105",
        "Name": "calico-api",
        "Namespace": "calico-apiserver",
        "Type": "ClusterIP"
      },
      {
        "ClusterIP": "None",
        "Name": "calico-kube-controllers-metrics",
        "Namespace": "calico-system",
        "Type": "ClusterIP"
      },
      {
        "ClusterIP": "10.104.232.20",
        "Name": "calico-typha",
        "Namespace": "calico-system",
        "Type": "ClusterIP"
      },
      {
        "ClusterIP": "10.96.0.1",
        "Name": "kubernetes",
        "Namespace": "default",
        "Type": "ClusterIP"
      },
      {
        "ClusterIP": "10.96.0.10",
        "Name": "kube-dns",
        "Namespace": "kube-system",
        "Type": "ClusterIP"
      },
      {
        "ClusterIP": "10.104.192.132",
        "Name": "metallb-webhook-service",
        "Namespace": "metallb-system",
        "Type": "ClusterIP"
      }
    ],
    "servicesaccounts": [
      {
        "Name": "calico-apiserver",
        "Namespace": "calico-apiserver"
      },
      {
        "Name": "default",
        "Namespace": "calico-apiserver"
      },
      {
        "Name": "calico-cni-plugin",
        "Namespace": "calico-system"
      },
      {
        "Name": "calico-kube-controllers",
        "Namespace": "calico-system"
      },
      {
        "Name": "calico-node",
        "Namespace": "calico-system"
      },
      {
        "Name": "calico-typha",
        "Namespace": "calico-system"
      },
      {
        "Name": "csi-node-driver",
        "Namespace": "calico-system"
      },
      {
        "Name": "default",
        "Namespace": "calico-system"
      },
      {
        "Name": "default",
        "Namespace": "default"
      },
      {
        "Name": "default",
        "Namespace": "kube-node-lease"
      },
      {
        "Name": "default",
        "Namespace": "kube-public"
      },
      {
        "Name": "attachdetach-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "bootstrap-signer",
        "Namespace": "kube-system"
      },
      {
        "Name": "certificate-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "clusterrole-aggregation-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "coredns",
        "Namespace": "kube-system"
      },
      {
        "Name": "cronjob-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "daemon-set-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "default",
        "Namespace": "kube-system"
      },
      {
        "Name": "deployment-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "disruption-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "endpoint-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "endpointslice-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "endpointslicemirroring-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "ephemeral-volume-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "expand-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "generic-garbage-collector",
        "Namespace": "kube-system"
      },
      {
        "Name": "horizontal-pod-autoscaler",
        "Namespace": "kube-system"
      },
      {
        "Name": "job-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "kube-proxy",
        "Namespace": "kube-system"
      },
      {
        "Name": "legacy-service-account-token-cleaner",
        "Namespace": "kube-system"
      },
      {
        "Name": "namespace-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "node-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "persistent-volume-binder",
        "Namespace": "kube-system"
      },
      {
        "Name": "pod-garbage-collector",
        "Namespace": "kube-system"
      },
      {
        "Name": "pv-protection-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "pvc-protection-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "replicaset-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "replication-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "resourcequota-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "root-ca-cert-publisher",
        "Namespace": "kube-system"
      },
      {
        "Name": "service-account-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "statefulset-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "token-cleaner",
        "Namespace": "kube-system"
      },
      {
        "Name": "ttl-after-finished-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "ttl-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "validatingadmissionpolicy-status-controller",
        "Namespace": "kube-system"
      },
      {
        "Name": "controller",
        "Namespace": "metallb-system"
      },
      {
        "Name": "default",
        "Namespace": "metallb-system"
      },
      {
        "Name": "speaker",
        "Namespace": "metallb-system"
      },
      {
        "Name": "default",
        "Namespace": "tigera-operator"
      },
      {
        "Name": "tigera-operator",
        "Namespace": "tigera-operator"
      }
    ],
    "statefulsets": null,
    "storageclasses": null
  }
}

[hanizang77]

Dynamic API를 이용한 K8s 클러스터 마이그레이션 가능성 검토

본 문서는 초기 분석 단계의 검토 자료로, 향후 추가 검증이 필요합니다.

🎯 개요

On-premise 환경에서 수집된 정보를 활용하여 k8sClusterDynamic과 k8sNodeGroupDynamic API를 통한 K8s 클러스터 마이그레이션 가능성을 검토하였습니다.

✅ 결론

현재 수집되는 정보로 Dynamic API를 통한 기본적인 K8s 클러스터 마이그레이션은 가능하나, 네트워크 구성 재현에는 한계가 있을 것으로 예상됩니다.

📊 k8sClusterDynamic API 매핑 현황

TB 필드명	매핑 상태	비고	HB 필드명
connectionName	❌ 사용자 입력 필요	CSP 연결 정보	-
description	❌ 사용자 입력 필요	설명	-
desiredNodeSize	✅ 매핑 가능	원하는 노드 수	node_count.total, node_count.worker, node_count.control_plane
imageId	✅ 매핑 가능	이미지 정보	node_info.osImage, node_info.operatingSystem, node_info.architecture
maxNodeSize	✅ 매핑 가능	최대 노드 수	node_count.total, node_count.worker, node_count.control_plane
minNodeSize	✅ 매핑 가능	최소 노드 수	node_count.total, node_count.worker, node_count.control_plane
name	❌ 사용자 입력 필요	클러스터명	-
nodeGroupName	❌ 사용자 입력 필요	노드그룹명	-
onAutoScaling	❌ 사용자 입력 필요	오토스케일링 여부	-
rootDiskSize	✅ 매핑 가능	루트 디스크 크기	node_spec.ephemeral_storage
rootDiskType	❌ 하드웨어 정보	루트 디스크 타입	-
specId	✅ 매핑 가능	스펙 정보	node_spec.cpu, node_spec.memory, node_info.architecture
version	✅ 매핑 가능	쿠버네티스 버전	node_info.kubeletVersion, node_info.kubeProxyVersion

📊 k8sNodeGroupDynamic API 매핑 현황

TB 필드명	매핑 상태	비고	HB 필드명
description	❌ 사용자 입력 필요	설명	-
desiredNodeSize	✅ 매핑 가능	원하는 노드 수	node_count.total, node_count.worker, node_count.control_plane
imageId	✅ 매핑 가능	이미지 정보	node_info.osImage, node_info.operatingSystem, node_info.architecture
maxNodeSize	✅ 매핑 가능	최대 노드 수	node_count.total, node_count.worker, node_count.control_plane
minNodeSize	✅ 매핑 가능	최소 노드 수	node_count.total, node_count.worker, node_count.control_plane
name	❌ 사용자 입력 필요	노드그룹명	-
onAutoScaling	❌ 사용자 입력 필요	오토스케일링 여부	-
rootDiskSize	✅ 매핑 가능	루트 디스크 크기	node_spec.ephemeral_storage
rootDiskType	❌ 하드웨어 정보	루트 디스크 타입	-
specId	✅ 매핑 가능	스펙 정보	node_spec.cpu, node_spec.memory, node_info.architecture

참고:

• ❌ 표시는 직접 매핑이 불가하거나 사용자의 입력이 필요함을 의미합니다.
• ✅ 표시는 관련 정보를 추출하거나 매핑할 수 있음을 의미합니다.

---

📊 추가적으로 수집되어야 할 것으로 예상되는 정보

• Pod CIDR: 클러스터 생성 시 일부 CSP에서 필수적 (현재 JSON에 없음)
• Service CIDR: 클러스터 생성 시 대부분의 CSP에서 선택사항이지만 기존 설정 유지를 위해 필요 (개별 IP만 수집되고 전체 대역은 없음)
• Ingress: 포트 규칙 설정(Security Group)을 위한 외부 접근 포트 파악 (현재 JSON에서 null)
• NetworkPolicy: NetworkPolicy 지원 CNI 선택 여부 결정을 위함 (현재 수집되지 않음)

⚠️ 향후 검토 예정 내용

추가적으로 수집되어야 하는 정보를 정확히 파악하기 위해서는 소스 환경의 K8s 클러스터 인프라 형상 공유, Dynamic API가 아닌 개별 API 분석 등을 수행해야 할 것으로 파악하고 있습니다.

🔍 검토 요청

• 본 문서는 초기 검토 버전으로, 추가적인 분석과 검증이 필요한 상태입니다.
• @yunkon-kim 내용에 대한 검토 및 피드백을 요청드립니다.

[yunkon-kim]

@hanizang77 👍

분석 현황 공유 감사합니다!

분석을 마치셨으니 소스 Kubernets 인프라 (또는 온프레미스 Kubernetes 인프라) 모델링을 진행해 보시면 될 것 같습니다.
아래 "VM Infra 모델링 및 활용 과정" 중 2번에 해당 합니다.

VM 인프라 모델링 예제를 참고해서 진행해 보시고요. 궁금한 사항이 생기면 바로 말씀해주십시오.
소스 Kubernets 인프라를 대표할 개념도가 있으면 도움이 됩니다.

큰 틀에서 아래 2가지 방향에 대해 고민이 필요할 것으로 판단됩니다.
1.기존 On-Premise Infra Model 의 Server에 필드를 보강하는 방안
2. Kuberntes 인프라 분류 체계(예, Control Plane, Node 등)에 맞는 새로운 On-Premise K8s Infra Model을 정의

VM Infra 모델링 및 활용 과정

1. 소스 인프라 형상 정보(Raw data) 분석: Honeybee가 소스 컴퓨팅 인프라에서 추출하는 모든 정보

   • (Live) http://210.207.104.224:8081/honeybee/source_group/ddcfa917-17e0-4718-a878-f1e99f97ed6d/infra
   • (분석 자료) https://docs.google.com/spreadsheets/d/1GKnMAyoh1q5T_KBJ7GrcL_ku0uJHgL30/edit?usp=drive_link&ouid=115531692754438844833&rtpof=true&sd=true

2. On-Premise Infra Model 규격 정의: 마이그레이션에 필요한 항목/필드(Key)들을 도출하여 정리해 놓은 규격(Schema)

   • Key-value 중, key를 정의해 놓은 것이라고 보시면 될 것 같습니다.
   • https://github.com/cloud-barista/cm-model/tree/main/infra/on-premise-model

3. 소스 인프라 사용자 모델(Refined data, 현재 On-premise Infra 사용자 모델로 지칭함) 제공: 마이그레이션에 필요한 항목/필드(Key)에 실제 값(Value)을 채워놓은 것("사용자 모델"이라 지칭)

   • http://210.207.104.224:8081/honeybee/source_group/ddcfa917-17e0-4718-a878-f1e99f97ed6d/infra/refined

---

분석 내용에서 궁금한 사항, 의견 등을 적어봤습니다. 가볍게 살펴보시기 바랍니다.

1. Tumblebug API 기준으로는 "❌ 사용자 입력 필요"가 맞을 수 있는 부분인데요. 가능한 소스와 유사한 인프라를 클라우드에 생성한다는 컨셉에서 봤을 때, 소스 Kubernetes 인프라에서 추출하여 입력이 가능한 부분이 있을지 확인해 주시면 좋을 것 같습니다.

2. k8sClusterDynamic API가 생성하는 Cluster의 범위가, Control Plane까지 인지, Control Plane + 1 Node Group 인지에 따라, "매핑에 필요한 변수"를 구분해서 활용할 필요가 있어 보입니다.

   • 예) node_count.worker, node_count.control_plane

3. "✅ 매핑 가능"으로 표시된 사항을 위주로 모델을 도출하면 될까요?

   • 분석 내용은 Honeybee에서 추출된 Kubernetes 인프라 형상 정보 (Raw data)와 Tumblebug API request body간 매핑 여부를 분석한 것 입니다.
   • Cloud-Migrator에서는 이 둘 사이 정도에 해당하는 모델을 정의하고 있고요. 모델이라 함은 마이그레이션에 꼭 필요한 정보들을 도출하여 정리한 것(모델, 구조체, 스키마 등으로 표현됨)이라고 보시면 될 것 같습니다.
   • 아래 "VM infra 모델링"을 참고하시기 바랍니다.

4. Kubernetes 전용 Spec과 image를 별도로 관리해야하는 경우가 있는지요?

   • VM Infra 를 위한 스펙 추천, 이미지 추천 기능과 호환성 여부 확인을 위해 문의드립니다.

5. "추가적으로 수집 되어야 할 것으로 예상되는 정보" 중에서 tumblebug/ns/{nsId}/k8sCluster API의 입력 값으로 지정할 수 있을 만한 정보는 무엇일까요?

   • 모든 CSP에 대해 설정할 수 없는 부분이라면, 공통 API로 추상화하기 어려웠을 것으로 판단되어 문의드립니다.

6. 아무래도 소스의 Kubernetes cluster의 버전이 Managed Kubernetes Service의 버전 보다는 예전 버전일 것 같습니다. 이 경우는 어떻게 처리되는지 궁금합니다.

7. Table header를 TB 필드명 HB 필드명(매핑에 필요한 변수) 로 수정해 주시면 좋을 것 같습니다.