Improved constraints for changing the column type #1540
Comments
deidera08
added
@datasource
|
@deidera08 타입 변경에 대한 제약이 필요하다는 의견에 동의합니다. 내부적으로 확인이 필요하겠네요. 그리고 format 컬럼은 항상 걸리는것 같아요. 현재는 timestamp 만 있는데, 굳이 grid에 format 컬럼을 유지해야하는지 의문입니다. 타입을 변경시 위에 그려두었듯이 레이어를 두어서 처리하는 방안은 어떠실런지요? |
|
@kyungtaak @AnnieHwang format컬럼은 현재는 Date/Time밖에 쓰지는 않지만 추후 논리적 타입(우편번호, 전화번호 등)을 염두에 두고 유지시키고 있는데요. 논리타입이 구현이 현재는 우선순위에서 많이 밀리고 있어, 구현되는 시점까지 숨기는 방법도 있을듯 합니다. |
kyungtaak
changed the title
|
@kyungtaak @ninezero90hy @AnnieHwang |
@deidera08 넵 해당 이슈에서 같이 진행하겠습니다 |
|
@deidera08 #1245 이슈 댓글 > 4.메타데이터 > 컬럼 스키마 : 가이드문구 영역 추가. 2번화면과 통일성있게 맞춤.
|
|
@ninezero90hy |
|
@kyungtaak 메타데이터 > 컬럼 스키마 필터링 기능을 추가하고 있는데
메타데이터 컬럼조회 API - [{
"name": "fd_permission",
"id": "22",
"type": "STRING",
"popularity": 0.0,
"physicalType": "STRING",
"physicalName": "fd_permission"
}, {
"name": "id",
"id": "23",
"type": "STRING",
"popularity": 0.0,
"physicalType": "STRING",
"physicalName": "id"
}, {
"name": "current_datetime",
"id": "24",
"type": "TIMESTAMP",
"popularity": 0.0,
"physicalType": "TIMESTAMP",
"physicalName": "current_datetime"
}] |
|
@AnnieHwang @brandon-wonjune @ninezero90hy @koeun222
포맷 작성 레이어에서 (입력한 값의 유효여부와 상관없이) Save/Cancel 버튼이 의미가 없어 삭제하고 Close 버튼으로 대체하도록 하겠습니다. 포맷에 값을 입력시 해당 값을 기억하고 부모팝업의 input에도 동일값이 노출됩니다. (레이어를 닫았다가 다시 호출시에도 해당값 노출됨) |
|
@AnnieHwang 디자인 공유드립니다
|
|
|
@ninezero90hy @brandon-wonjune
|
|
@kyungtaak @AnnieHwang @brandon-wonjune @ninezero90hy
UI가 개선되었습니다. Configure schema화면에서 Format영역이 삭제되고 정보 버튼으로 대체되었습니다.
|
|
@kyungtaak @ufoscw 확인 부탁드립니다
{
"name": "linked",
"id": "f89dbb56-c21e-4e26-a3c4-55d62b3d81a3",
"sourceType": "ENGINE",
"description": "",
"catalogs": [],
"modifiedBy": {
"type": "user",
"username": "admin",
"fullName": "Administrator",
"email": "admin@metatron.com"
},
"modifiedTime": "2019-04-15T06:00:33.000Z",
"columns": [{
"physicalType": "INTEGER",
"physicalName": "userid",
"name": "ratings.userid",
"type": "INTEGER",
"fieldRef": 10047087,
"role": "MEASURE",
"seq": 0
}, {
"physicalType": "INTEGER",
"physicalName": "movieid",
"name": "ratings.movieid",
"type": "INTEGER",
"fieldRef": 10047088,
"role": "MEASURE",
"seq": 1
}, {
"physicalType": "INTEGER",
"physicalName": "rating",
"name": "ratings.rating",
"type": "INTEGER",
"fieldRef": 10047089,
"role": "MEASURE",
"seq": 2
}, {
"physicalType": "STRING",
"physicalName": "tstamp",
"name": "ratings.tstamp",
"type": "STRING",
"fieldRef": 10047090,
"role": "DIMENSION",
"seq": 3
}, {
"physicalType": "TIMESTAMP",
"physicalName": "current_datetime",
"name": "current_datetime",
"type": "TIMESTAMP",
"fieldRef": 10047091,
"role": "TIMESTAMP",
"seq": 4,
"format": {
"type": "time_temporary",
"format": "yyyy-MM-dd HH:mm:ss"
}
}],
"createdTime": "2019-04-15T06:00:33.000Z",
"createdBy": {
"type": "user",
"username": "admin",
"fullName": "Administrator",
"email": "admin@metatron.com"
},
"popularity": 0.0,
"tags": [],
"source": {
"name": "linked",
"id": "e8e34e59-cfee-45d9-99d4-125346150ca3",
"type": "ENGINE",
"modifiedBy": {
"type": "user",
"username": "admin",
"fullName": "Administrator",
"email": "admin@metatron.com"
},
"modifiedTime": "2019-04-15T06:00:33.000Z",
"createdTime": "2019-04-15T06:00:33.000Z",
"createdBy": {
"type": "user",
"username": "admin",
"fullName": "Administrator",
"email": "admin@metatron.com"
},
"source": {
"createdBy": "admin",
"createdTime": "2019-04-15T06:00:32.000Z",
"modifiedBy": "admin",
"modifiedTime": "2019-04-15T06:00:33.000Z",
"id": "535ed1fa-9f2c-4638-9da9-6b0b90defa32",
"name": "linked",
"engineName": "linked",
"ownerId": "admin",
"description": "",
"dsType": "MASTER",
"connType": "ENGINE",
"srcType": "JDBC",
"granularity": "MONTH",
"segGranularity": "MONTH",
"status": "ENABLED",
"includeGeo": false,
"linkedWorkspaces": 1,
"ingestion": {
"dataType": "TABLE",
"type": "single",
"rollup": true,
"query": "ratings",
"database": "default",
"scope": "ALL"
},
"fields": [{
"id": 10047087,
"name": "userid",
"logicalName": "ratings.userid",
"type": "INTEGER",
"logicalType": "INTEGER",
"role": "MEASURE",
"aggrType": "NONE",
"seq": 0
}, {
"id": 10047088,
"name": "movieid",
"logicalName": "ratings.movieid",
"type": "INTEGER",
"logicalType": "INTEGER",
"role": "MEASURE",
"aggrType": "NONE",
"seq": 1
}, {
"id": 10047089,
"name": "rating",
"logicalName": "ratings.rating",
"type": "INTEGER",
"logicalType": "INTEGER",
"role": "MEASURE",
"aggrType": "NONE",
"seq": 2
}, {
"id": 10047090,
"name": "tstamp",
"logicalName": "ratings.tstamp",
"type": "STRING",
"logicalType": "STRING",
"role": "DIMENSION",
"aggrType": "NONE",
"seq": 3
}, {
"id": 10047091,
"name": "current_datetime",
"logicalName": "current_datetime",
"type": "TIMESTAMP",
"logicalType": "TIMESTAMP",
"role": "TIMESTAMP",
"aggrType": "NONE",
"seq": 4,
"derived": true,
"format": {
"type": "time_temporary",
"format": "yyyy-MM-dd HH:mm:ss"
}
}],
"summary": {
"ingestionMinTime": "2014-04-15T06:01:28.000Z",
"ingestionMaxTime": "2019-04-15T06:01:28.000Z",
"size": 24282747,
"count": 458455,
"ingestedCount": 1000209,
"columns": {
"__time": {
"type": "long",
"cardinality": -1
},
"count": {
"type": "long",
"cardinality": -1
},
"movieid": {
"type": "double",
"cardinality": -1
},
"rating": {
"type": "double",
"cardinality": -1
},
"tstamp": {
"type": "dimension.string",
"cardinality": 458455
},
"userid": {
"type": "double",
"cardinality": -1
}
}
},
"alias": "linked",
"dataSourceType": "MASTER"
}
},
"_links": {
"self": {
"href": "http://local.com:4200/api/metadatas/f89dbb56-c21e-4e26-a3c4-55d62b3d81a3"
},
"metadata": {
"href": "http://local.com:4200/api/metadatas/f89dbb56-c21e-4e26-a3c4-55d62b3d81a3{?projection}",
"templated": true
},
"columns": {
"href": "http://local.com:4200/api/metadatas/f89dbb56-c21e-4e26-a3c4-55d62b3d81a3/columns"
},
"catalogs": {
"href": "http://local.com:4200/api/metadatas/f89dbb56-c21e-4e26-a3c4-55d62b3d81a3/catalogs"
}
}
}
{
"name": "linked",
"fields": [{
"id": 10047087,
"name": "userid",
"logicalName": "ratings.userid",
"type": "INTEGER",
"logicalType": "INTEGER",
"role": "MEASURE",
"aggrType": "NONE",
"seq": 0
}, {
"id": 10047088,
"name": "movieid",
"logicalName": "ratings.movieid",
"type": "INTEGER",
"logicalType": "INTEGER",
"role": "MEASURE",
"aggrType": "NONE",
"seq": 1
}, {
"id": 10047089,
"name": "rating",
"logicalName": "ratings.rating",
"type": "INTEGER",
"logicalType": "INTEGER",
"role": "MEASURE",
"aggrType": "NONE",
"seq": 2
}, {
"id": 10047090,
"name": "tstamp",
"logicalName": "ratings.tstamp",
"type": "STRING",
"logicalType": "STRING",
"role": "DIMENSION",
"aggrType": "NONE",
"seq": 3
}, {
"id": 10047091,
"name": "current_datetime",
"logicalName": "current_datetime",
"type": "TIMESTAMP",
"logicalType": "TIMESTAMP",
"role": "TIMESTAMP",
"aggrType": "NONE",
"seq": 4,
"derived": true,
"format": {
"type": "time_temporary",
"format": "yyyy-MM-dd HH:mm:ss"
}
}],
"id": "535ed1fa-9f2c-4638-9da9-6b0b90defa32",
"srcType": "JDBC",
"description": "",
"status": "ENABLED",
"modifiedBy": {
"type": "user",
"username": "admin",
"fullName": "Administrator",
"email": "admin@metatron.com"
},
"modifiedTime": "2019-04-15T06:00:33.000Z",
"dsType": "MASTER",
"createdTime": "2019-04-15T06:00:32.000Z",
"linkedWorkspaces": 1,
"contexts": {},
"createdBy": {
"type": "user",
"username": "admin",
"fullName": "Administrator",
"email": "admin@metatron.com"
},
"connType": "ENGINE",
"ingestion": {
"type": "single",
"database": "default",
"dataType": "TABLE",
"query": "ratings",
"rollup": true,
"fetchSize": 200,
"maxLimit": 10000000,
"scope": "ALL"
},
"summary": {
"ingestionMinTime": "2014-04-15T06:01:28.000Z",
"ingestionMaxTime": "2019-04-15T06:01:28.000Z",
"size": 24282747,
"count": 458455,
"ingestedCount": 1000209,
"columns": {
"__time": {
"type": "long",
"cardinality": -1
},
"count": {
"type": "long",
"cardinality": -1
},
"movieid": {
"type": "double",
"cardinality": -1
},
"rating": {
"type": "double",
"cardinality": -1
},
"tstamp": {
"type": "dimension.string",
"cardinality": 458455
},
"userid": {
"type": "double",
"cardinality": -1
}
}
},
"engineName": "linked",
"connection": {
"createdBy": "admin",
"createdTime": "2019-04-12T06:55:40.000Z",
"modifiedBy": "admin",
"modifiedTime": "2019-04-12T06:55:40.000Z",
"id": "6d7c6b6d-ad3c-4966-96a0-1c477d6db8bd",
"implementor": "HIVE",
"name": "Hive-localhost-10000",
"type": "JDBC",
"hostname": "localhost",
"port": 10000,
"username": "hive",
"password": "hive",
"authenticationType": "MANUAL",
"linkedWorkspaces": 1
},
"granularity": "MONTH",
"segGranularity": "MONTH",
"_links": {
"self": {
"href": "http://local.com:4200/api/datasources/535ed1fa-9f2c-4638-9da9-6b0b90defa32"
},
"datasource": {
"href": "http://local.com:4200/api/datasources/535ed1fa-9f2c-4638-9da9-6b0b90defa32{?projection}",
"templated": true
},
"workspaces": {
"href": "http://local.com:4200/api/datasources/535ed1fa-9f2c-4638-9da9-6b0b90defa32/workspaces"
},
"connection": {
"href": "http://local.com:4200/api/datasources/535ed1fa-9f2c-4638-9da9-6b0b90defa32/connection"
},
"dashBoards": {
"href": "http://local.com:4200/api/datasources/535ed1fa-9f2c-4638-9da9-6b0b90defa32/dashboards"
},
"snapshot": {
"href": "http://local.com:4200/api/datasources/535ed1fa-9f2c-4638-9da9-6b0b90defa32/snapshot"
}
}
} |
|
@kyungtaak @ufoscw 확인 부탁드립니다
|
|
|
@ninezero90hy |
메타데이터 상세 정보 조회시 데이터소스의 연결정보가 필요한 경우는 프리셋을 사용해서 데이터소스를 생성한 -- 1. 연결정보를 직접 입력해서 데이터소스를 생성한 경우
데이터소스 상세 > 연결정보( "ingestion": {
"type": "link",
"connection": {
"implementor": "HIVE",
"type": "JDBC",
"hostname": "localhost",
"port": 10000,
"username": "hive",
"password": "hive",
"authenticationType": "MANUAL",
"linkedWorkspaces": 0
},
"database": "default",
"dataType": "TABLE",
"query": "ratings",
"rollup": true,
"fetchSize": 200,
"maxLimit": 10000000,
"expired": 1800
},메타데이터 상세 > 데이터 소스 > 연결정보( "ingestion": {
"dataType": "TABLE",
"type": "link",
"rollup": true,
"query": "ratings",
"database": "default",
"expired": 1800,
"scope": "ALL",
"connection": {
"implementor": "HIVE",
"hostname": "localhost",
"port": "10000",
"authenticationType": "MANUAL",
"username": "hive",
"password": "hive",
"type": "JDBC"
}
},2. 연결정보(프리셋)을 선택해서 데이터소스를 생성한 경우
데이터소스 상세 > 연결정보( "connection": {
"createdBy": "admin",
"createdTime": "2019-04-16T07:35:16.000Z",
"modifiedBy": "admin",
"modifiedTime": "2019-04-16T07:35:16.000Z",
"id": "ce947509-fa68-4182-8c76-111795b850fb",
"implementor": "HIVE",
"name": "Hive-localhost-10000",
"type": "JDBC",
"hostname": "localhost",
"port": 10000,
"username": "hive",
"password": "hive",
"authenticationType": "MANUAL",
"linkedWorkspaces": 1
},메타데이터 상세 > 데이터 소스 > 연결정보( 연결정보 없음 |
|
@kyungtaak @AnnieHwang @ninezero90hy
|
Is your feature request related to a problem? Please describe.
타입 변경에 따른 제약이 발생하기 시작했습니다.
(유저 생성한 Geo 타입 변경 불가, Date/Time 타입에 대한 유효성)
그러나 현재 Datasource > Column Detail에서 타입을 아무 제약없이 손쉽게 바꿀 수 있습니다.
.
.
Describe the solution you'd like
Datasource > Information에서 타입변경 기능을 삭제하고, Configure Schema에서 Date/Time 타입으로 변경시 유효성 체크를 합니다.
이는 Metadata > Column Schema에서 타입 변경시에도 동일합니다.
.
.
Describe alternatives you've considered
.
.
.
.
.
.
.
Additional context
관련이슈 : If the timestamp column is more than a unit of day, the time zone is meaningless #1397 , Creating a metadata by database in data connection #1539 Enable to edit column's logical information of datasource and sync with column of metadata #1245
The text was updated successfully, but these errors were encountered: