[GCP:VM] VM Not Found Error Due to ZONE_RESOURCE_POOL_EXHAUSTED

[powerkimhub]

cc: @seokho-son @yunkon-kim

• 드물게, VM이 생성되지 않는 오류가 발생하고 있습니다. (표면상: VM not found 에러 반복)

[VM 생성시 현황]

• VM 생성시 생성 요청은 성공적으로 반환을 받습니다.
  • 관련 코드 위치:

    cb-spider/cloud-control-manager/cloud-driver/drivers/gcp/resources/VMHandler.go

    Line 470 in 75f73c0

    cblogger.Info("VM 생성 요청 호출 완료")

• 그런데, 다음 위치의 WaitForRun() 내부에서 VM 상태를 얻는데 없는 VM이라고 나옵니다.

  • cb-spider/cloud-control-manager/cloud-driver/drivers/gcp/resources/VMHandler.go

    Line 492 in 75f73c0

    vmStatus, _ := vmHandler.WaitForRun(irs.IID{NameId: vmName, SystemId: vmName})

  • 관련 에러 메시지

    [CB-SPIDER].[ERROR]: 2024-05-03 16:31:42 VMHandler.go:875, github.com/cloud-barista/cb-spider/cloud-control-manager/cloud-driver/drivers/gcp/resources.(*GCPVMHandler).GetVMStatus() - googleapi: Error 404: The resource 'projects/powerkimhub/zones/us-central1-a/instances/deeplearning-vm-test-coq941jp70ipgggvd61g' was not found, notFound
    

[분석]

• VM 생성 요청 시점에 GCP Console로 VM 목록을 refresh 해보면,
• 대상 VM이 잠시 나타났다가 사라집니다.
• GCP Console 로그 탐색기로 오류 트레이싱을 해보면, 다음과 같이
  • ZONE_RESOURCE_POOL_EXHAUSTED 오류가 발생했었음을 알수 있습니다.
  • 

[제안]

• 현재 Spider 사용자는 이유를 알수 없이 VM 생성이 안되는 현상에 빠지게 됩니다.
• 혹시, 드라이버 차원에서 이와 같은 상황을 인지 할수 있고,
• 사용자에게 상황(ZONE_RESOURCE_POOL_EXHAUSTED)에 맞는 정확한 에러 메시지를 제공할 수 있는 지 등 확인 부탁 드립니다.

[seokho-son]

참고로, GPU (특히 비싼) 가 포함된 VM을 생성하는 경우,
특정 존에서 가용 GPU가 부족해서,
지속적으로 pending되거나 사용자가 중단시키도록 요청하는 상황이 발생했었습니다. (GCP 콘솔에서 수행)

[powerkimhub]

참고로, GPU (특히 비싼) 가 포함된 VM을 생성하는 경우, 특정 존에서 가용 GPU가 부족해서, 지속적으로 pending되거나 사용자가 중단시키도록 요청하는 상황이 발생했었습니다. (GCP 콘솔에서 수행)

• 그렇군요. 재현시 참고하면 좋을 것 같습니다.
• 다음 링크의 deeplearning VM 생성 스크립트 참고
  • [GCP] How can a user lookup a vm image which is not in the image list #1184 (comment)