Add handling StageDB usage by configuration

[kyungtaak]

Is your feature request related to a problem? Please describe.
Stage DB 설정에 따라 StageDB 사용여부를 정의해야 하지만 현재 이에 대한 체크가 존재하지 않아 hive 환경의 stage db 를 활용할수 없는 환경에서는 오류가 발생하고 있습니다.
또한, dataprep 과 동일한 StageDB(Hive) 환경을 활용하고 있지만, 설정을 중복해서 기입하고 있어 이에 대한 통합도 필요합니다.

Describe the solution you'd like

• 아래 예시처럼 StageDB 환경 정보를 단일 설정으로 유지합니다.

polaris:
  storage:
    stagedb:
      ...:

• Stage DB 설정에 따라 StageDB 사용여부를 체크하여 기능 처리에 반영합니다.
  • 데이터 소스 항목 enable/disable
• 추가로, pre-defined 데이터 커넥션도 검토 합니다.

Describe alternatives you've considered
(N/A)

Additional context
(N/A)

[kyungtaak]

@metatron-app/admin @AnnieHwang 위 내용과 관련하여 기획 검토 부탁드립니다.

[AnnieHwang]

@kyungtaak StagingDB를 사용하지 않은 경우 화면에서 어떤 문제가 있는지 검토해보도록 하겠습니다.

[deidera08]

@kyungtaak @AnnieHwang

Core에서 StagingDB를 사용하지 않을 경우 체크해야 할 화면은 다음과 같습니다.

1. Datasource(list) > Source type
   

2. Create Datasource > Select source type
   

3. Create Datasource> Snapshot > Type
   

4. Metadata(list) > Data type
   

5. Create Metadata > Select data type
   

누락된 부분이 있다면 추가 부탁드립니다.

[ecoloy]

@kyungtaak @AnnieHwang
Staging DB가 disable 될 경우 Dataprep UI 단에서 처리해야할 부분은 아래와 같습니다.

1. Dataset > Generate new dataset
   

2. Dataflow > New dataflow details > add dataset description
   

3. Dataflow > Dataflow details > Wrangled D.S panel > Create snapshot
   (Hive 용어 Staging DB로 변경 예정)
   

4. Dataflow > Dataflow details > Edit Wrangled D.S Rule > Snapshot
   (Hive 용어 Staging DB로 변경 예정)
   

5. Datasnapshot > Snapshot type
   

@deidera08 다만, 일전에 Staging DB가 설정되지 않았을 경우를 대비하여 Dataprep에서는 관련 UI를 hide하는 것이아닌 아래와 같이 disable 처리하는 식의 기획문서를 업데이트 해둔적이 있습니다.

Datasource와 일관된 정책을 가져가는 것이 좋으니 UI 단에서 hide를 할지 disable 처리를 할지 하나로 결정되면 그에 맞춰 기획문서도 업데이트 하도록 하겠습니다.
감사합니다.

[kyungtaak]

@joohokim1 prep 내에서도 함께 검토 부탁드립니다.

[ufoscw]

@kyungtaak
기존 stagedb 설정의 위치가 변경되었습니다.
설정 내용은 기존과 동일합니다.
설정 위치나 네이밍에 대해 변경이 필요하면 알려주세요.

• AS-IS

polaris:
  engine:
    hive:
      ......

*TO-BE

polaris:
  extensions:
    stagedb:
      ......

@brandon-wonjune
stagedb 여부 조회는 아래 API를 사용하시면 됩니다.

(GET) /api/extensions/stagedb

status가 204일 경우는 stagedb 설정이 존재하지 않는 경우입니다.

[ufoscw]

stagedb 설정의 위치를 extensions -> storage로 변경합니다.

• AS-IS

polaris:
  engine:
    hive:
      ......

*TO-BE

polaris:
  storage:
    stagedb:
      ......

@brandon-wonjune
API도 수정되었습니다.

(GET) /api/storage/stagedb

[minjung-cho]

지금 이슈를 찾을 수 없습니다만.. 일전에 대시보드에서 차트를 그릴 수 없는 상황을 정리한 적이 있습니다. (이슈 번호 기억하시는 분 링크 부탁드립니다;;)

@eltriny 데이터소스가 삭제되었을 때에 대한 것도 처리가 된 것으로 아는데, 최종 확인 부탁드립니다.

@deidera08 @AnnieHwang 데이터소스를 삭제했을 때, 삭제된 데이터소스를 다른 소스로 변경하고자 하는 니즈가 있어서.. 대시보드에서 데이터소스를 추가/변경하는 화면(멀티데이터소스 건)이 올해 진행될 듯합니다. 업무에 참고 부탁드립니다.

[paigechoi]

@ecoloy 님이 코멘트 하신 부분에서
3, 4번은 Hide (화면에 보여지지 않음)
1번은 gray로 보여지게 ...
5번은 Hide 하는게 맞지요??
@joohokim1 이렇게 처리하는게 맞나요 ?

[joohokim1]

@paigechoi
네 일단 dataprep은 1번은 gray 처리, 2번 현상 유지, 이후 모두 hide 처리입니다.