Delay in loading of segments after file data source creation causes data source status to fail.

[elanv]

Describe the bug
Discovery에서 파일 데이터소스 생성 시 Druid에 데이터소스가 생성이 되지만 historical node로 세그먼트 로딩이 지연될 경우 discovery애서는 실패한 것으로 표시됩니다.

데이터 소스 상세 화면에서 "Failed" 옆 상세 링크 클릭 시 아래 메시지가 표시됩니다.

message : INGESTION_ENGINE_REGISTRATION_ERROR
cause : DataSourceIngestionException: An error occurred while registering the data source

To Reproduce
Steps to reproduce the behavior:

1. 파일 데이터 소스 생성
2. Druid coordinator 콘솔의 데이터소스 목록에 생성되어 표시되지만 붉은색 상태표시와 함께 unreplicated 상태로 표시 됨.
3. Discovery 데이터 소스 상태가 최종적으로 failed가 됨
4. 일정 시간이 지난 후 Druid coordinator 콘솔의 데이터 소스의 상태는 초록색으로 바뀌고 세그먼트 조회가 가능하게 됨

Expected behavior
데이터소스 상태가 "Failed"가 아닌 "Preparing" 상태를 유지하다가 "Enabled"로 변경이되고 정상적으로 사용할 수 있어야 할 것으로 보입니다.

Screenshots

Desktop (please complete the following information):

• OS: OSX
• Browser: chrome, safari
• Version: 3.0.7-20181123060837

Additional context
Add any other context about the problem here.

[kyungtaak]

@elanv 이 이슈는 적재과정에서 두가지 체크를 진행하게 되는데요. 그 중 맨 마지막 적재가 완료되고 나서 데이터 소스가 제대로 로드 되었는지 확인하는 과정입니다. 이 때 데이터 소스가 최대 체크 시간을 초과하게 된다면 위의 오류가 발생할 가능성이 있는데요. 두가지로 수정할 예정입니다.

1. 체크시 사용하는 Retry 옵션 설정화 : 사이트 성격에 맞게 활용

polaris:
  datasource:
    ingestion:
      retries:
        delay: 6
        maxDelay: 90
        maxDuration : 3600

2. 예상치 못한 maxDuration 을 넘긴 본 이슈와 같은 적재 단계에서 실패는 주기적으로 실행되는 데이터 소스 체크시 한번더 체크