[PoC] MinIO, HAProxy 정보 수집 예시

[ish-hcc]

현재 PoC 로 cm-honeybee Agent에서 수집할 수 있는 MinIO 와 HAProxy 정보 수집의 예시입니다.
타 모듈 개발시 참고 부탁드립니다.

MinIO 정보 수집 예시

• 실행 환경
  • 아래 레포지토리에 있는 Dockerfile을 통해 빌드하여 실행한 컨테이너 환경
  • https://github.com/m-cmp/mc-observability/tree/main/config/minio

{
  "minio": {
    "version": "MinIO edge",
    "config_path": "",
    "root_user": "admin",
    "address": "localhost:9000",
    "process_info": "root 2174447 3.1 0.2 1540760 131436 ? Sl 18:01 0:00 /minio/bin/minio server /minio/data --console-address :9001",
    "server_info": {
      "servers": 1,
      "disks": 1,
      "online_disks": 1,
      "offline_disks": 0,
      "storage_info": {
        "total_gb": 110.36630249023438,
        "used_gb": 82.73724365234375,
        "free_gb": 27.629058837890625,
        "used_percent": 74.9660374457726
      }
    },
    "buckets": [
      {
        "name": "loki-data",
        "size_gb": 0.0002359934151172638,
        "objects": 253,
        "versioned": false,
        "replication": true
      },
      {
        "name": "tempo-data",
        "size_gb": 0.10515957698225975,
        "objects": 2999,
        "versioned": false,
        "replication": true
      }
    ],
    "errors": [
      "Failed to get MinIO version: minio binary not found"
    ]
  }
}

HAProxy 정보 수집 예시

• 실행 환경
  • Ubuntu 22.04
  • apt install haproxy
• /etc/haproxy/haproxy.cfg 내용

global
    log stdout format raw local0

defaults
    log     global
    mode    tcp
    timeout client 10s
    timeout server 10s
    timeout connect 5s

frontend influxdb_front
    bind *:9999
    default_backend influxdb_back

backend influxdb_back
    balance roundrobin
    server influx1 127.0.0.1:8086 check
    server influx2 127.0.0.1:8087 check

• 수집된 데이터 예시

{
  "haproxy": {
    "version": "HAProxy version 2.4.24-0ubuntu0.22.04.3 2025/10/01 - https://haproxy.org/",
    "config_path": "/etc/haproxy/haproxy.cfg",
    "global": {},
    "defaults": {},
    "frontends": [
      {
        "name": "influxdb_front",
        "bind": "*:9999",
        "default_backend": "influxdb_back",
        "options": {}
      }
    ],
    "backends": [
      {
        "name": "influxdb_back",
        "balance": "roundrobin",
        "options": {},
        "servers": [
          {
            "name": "influx1",
            "address": "127.0.0.1:8086",
            "options": "check"
          },
          {
            "name": "influx2",
            "address": "127.0.0.1:8087",
            "options": "check"
          }
        ]
      }
    ],
    "listens": []
  }
}

[yunkon-kim]

@ish-hcc (cc. @powerkimhub)

사용자가 Managed Object Storage로 마이그레이션 하는 상황을 고려하여 분석된 내용이 아래와 같습니다.
현재까지 분석 및 테스트한 내용을 기준으로 작성되었습니다.

분석 내용

차차 다음 항목과 관련한 정보가 추출될 수 있는지 확인해보시고 의견 공유 또는 업데이트 부탁드립니다.

• CORS enabled, CORS rules
• 무결성 확인 인자 (예, S3 ETag, checksum임)

우선, Bucket 관점에서 정보 추출 가능여부를 판단해 주시면 될 것 같고요.
이를 바탕으로 데이터(Object) 마이그레이션을 수행할 때 사용될 만한 정보도 함께 살펴봐주시면 좋을 것 같습니다.

[ish-hcc]

@yunkon-kim 업데이트 된 agent 에서 호출시 예시 데이터 입니다

• Infra API: Bucket 인프라 정보만 제공
  http://127.0.0.1:8082/honeybee-agent/infra

{
...(생략)...
  "minio": {
    "version": "MinIO edge (Docker)",
    "config_path": "",
    "root_user": "admin",
    "volumes": "",
    "address": "localhost:9000",
    "console_address": "",
    "process_info": "root 147311 1.0 0.9 2006036 549944 ? Sl 21:01 0:23 /minio/bin/minio server /minio/data --console-address :9001",
    "server_info": {
      "servers": 1,
      "disks": 1,
      "online_disks": 1,
      "offline_disks": 0,
      "storage_info": {
        "total_gb": 110.36630249023438,
        "used_gb": 66.92551803588867,
        "free_gb": 43.4407844543457,
        "used_percent": 60.63944929369224
      }
    },
    "buckets": [
      {
        "name": "loki-data",
        "size_gb": 0.0002359934151172638,
        "versioned": false,
        "replication": true,
        "object_lock": false,
        "encryption": null,
        "lifecycle": null,
        "tags": null
      },
      {
        "name": "tempo-data",
        "size_gb": 0.10515957698225975,
        "versioned": false,
        "replication": true,
        "object_lock": false,
        "encryption": null,
        "lifecycle": null,
        "tags": null
      }
    ],
    "opts": null,
    "cors_allow_origin": [
      "https://example.com",
      "https://app.example.com"
    ],
    "errors": null
  }
}

• Data API: Bucket 데이터 정보 제공
  http://127.0.0.1:8082/honeybee-agent/data

{
  "minio": {
    "root_user": "admin",
    "address": "localhost:9000",
    "buckets": [
      {
        "name": "loki-data",
        "objects": 253,
        "object_list": [
          {
            "key": "fake/45cbcd824eee32fc/19a239967c9:19a239967ca:1cc8a48c",
            "etag": "91e9b63b67f360dc2d4cba06a8e6ced0",
            "size": 655,
            "last_modified": "2025-10-27T03:27:46Z",
            "content_type": "",
            "metadata": {
              "content-type": "binary/octet-stream"
            }
          },
          {
            "key": "fake/45cbcd824eee32fc/19a288a3679:19a288a6b6f:42d45b2f",
            "etag": "d3924cfa0b652ba7cd8dbbb4059aa1d1",
            "size": 715,
            "last_modified": "2025-10-28T02:29:38Z",
            "content_type": "",
            "metadata": {
              "content-type": "binary/octet-stream"
            }
          },
          ...(생략)...
        ],
        "versioned": false
      },
      {
        "name": "tempo-data",
        "objects": 2999,
        "object_list": [
          {
            "key": "single-tenant/000245fc-bc22-4c14-a224-da716f69141e/bloom-0",
            "etag": "5e15358a84e3e732657fe352650e0aed",
            "size": 102424,
            "last_modified": "2025-10-31T07:04:31Z",
            "content_type": "",
            "metadata": {
              "content-type": "application/octet-stream"
            }
          },
          {
            "key": "single-tenant/000245fc-bc22-4c14-a224-da716f69141e/data.parquet",
            "etag": "3542ec51875660d99937daf6eae3d07a",
            "size": 26765,
            "last_modified": "2025-10-31T07:04:31Z",
            "content_type": "",
            "metadata": {
              "content-type": "application/octet-stream"
            }
          },
          ...(생략)...
        ],
        "versioned": false
      }
    ],
    "errors": null
  }
}

[ish-hcc]

@yunkon-kim 테스트 해보시려면 cm-honeybee 클론 하신 폴더의 agent 폴더에서 make run 실행하시면 확인 가능합니다.

[yunkon-kim]

이렇게 빨리 업데이트 해주시다니 ㅠ 감사드립니다!

공유해주신 정보로 목표 클라우드에 Bucket 생성 > CORS 설정 > versioning 설정하는 절차로 Object Storage 마이그레이션을 하면 될 것 같습니다. 테스트 충분히 진행해보고 모델이 도출되면 cm-model에 추가하도록 하겠습니다.

데이터 마이그레이션 이후 etag을 활용하여 검증을 수행할 수 있을 것 같습니다. 다만, 담당/스케줄에 이슈가 있어 이를 해소하는데 시간이 조금 필요한 상황입니다. 참고 부탁드립니다.

[ish-hcc]

@yunkon-kim 넵 감사합니다!

[ish-hcc]

@yunkon-kim content type 이 중복되는 부분이 있어서 아래처럼 수정하였습니다.
metadata의 content-type 부분만 남겼습니다.

{
  "minio": {
    "root_user": "admin",
    "address": "localhost:9000",
    "buckets": [
      {
        "name": "loki-data",
        "objects": 253,
        "object_list": [
          {
            "key": "fake/45cbcd824eee32fc/19a239967c9:19a239967ca:1cc8a48c",
            "etag": "91e9b63b67f360dc2d4cba06a8e6ced0",
            "size": 655,
            "last_modified": "2025-10-27T03:27:46Z",
            "content_type": "",
            "metadata": {
              "content-type": "binary/octet-stream"
            }
          },
          {
            "key": "fake/45cbcd824eee32fc/19a288a3679:19a288a6b6f:42d45b2f",
            "etag": "d3924cfa0b652ba7cd8dbbb4059aa1d1",
            "size": 715,
            "last_modified": "2025-10-28T02:29:38Z",
            "content_type": "",
            "metadata": {
              "content-type": "binary/octet-stream"
            }
          },
          ...(생략)...
        ],
        "versioned": false
      },
      {
        "name": "tempo-data",
        "objects": 2999,
        "object_list": [
          {
            "key": "single-tenant/000245fc-bc22-4c14-a224-da716f69141e/bloom-0",
            "etag": "5e15358a84e3e732657fe352650e0aed",
            "size": 102424,
            "last_modified": "2025-10-31T07:04:31Z",
            "metadata": {
              "content-type": "application/octet-stream"
            }
          },
          {
            "key": "single-tenant/000245fc-bc22-4c14-a224-da716f69141e/data.parquet",
            "etag": "3542ec51875660d99937daf6eae3d07a",
            "size": 26765,
            "last_modified": "2025-10-31T07:04:31Z",
            "metadata": {
              "content-type": "application/octet-stream"
            }
          },
          ...(생략)...
        ],
        "versioned": false
      }
    ],
    "errors": null
  }
}

[yunkon-kim]

@ish-hcc 넵! 감사합니다.