merging

metatron-app · Apr 16, 2019 · 442b3fe · 442b3fe
2 parents 471e919 + 22ba0a9
commit 442b3fe
Show file tree

Hide file tree

Showing 313 changed files with 6,668 additions and 13,714 deletions.
diff --git a/_static/img/discovery/part02/create_datasource_db_6.png b/_static/img/discovery/part02/create_datasource_db_6.png
diff --git a/_static/img/discovery/part02/create_datasource_file_10.png b/_static/img/discovery/part02/create_datasource_file_10.png
diff --git a/_static/img/discovery/part02/create_datasource_file_4.png b/_static/img/discovery/part02/create_datasource_file_4.png
diff --git a/_static/img/discovery/part02/create_datasource_metatron_engine_2.png b/_static/img/discovery/part02/create_datasource_metatron_engine_2.png
diff --git a/_static/img/discovery/part02/dimension_measure_01.png b/_static/img/discovery/part02/dimension_measure_01.png
diff --git a/_static/img/discovery/part03/2.png b/_static/img/discovery/part03/2.png
diff --git a/_static/img/discovery/part07/edit_rules_10.png b/_static/img/discovery/part07/edit_rules_10.png
diff --git a/_static/img/discovery/part07/edit_rules_11.png b/_static/img/discovery/part07/edit_rules_11.png
diff --git a/_static/img/discovery/part07/edit_rules_12.png b/_static/img/discovery/part07/edit_rules_12.png
diff --git a/_static/img/discovery/part07/edit_rules_13.png b/_static/img/discovery/part07/edit_rules_13.png
diff --git a/_static/img/discovery/part07/edit_rules_2.png b/_static/img/discovery/part07/edit_rules_2.png
diff --git a/_static/img/discovery/part07/edit_rules_3.png b/_static/img/discovery/part07/edit_rules_3.png
diff --git a/_static/img/discovery/part07/edit_rules_4.png b/_static/img/discovery/part07/edit_rules_4.png
diff --git a/_static/img/discovery/part07/edit_rules_5.png b/_static/img/discovery/part07/edit_rules_5.png
diff --git a/_static/img/discovery/part07/edit_rules_6.png b/_static/img/discovery/part07/edit_rules_6.png
diff --git a/_static/img/discovery/part07/edit_rules_7.png b/_static/img/discovery/part07/edit_rules_7.png
diff --git a/_static/img/discovery/part07/edit_rules_8.png b/_static/img/discovery/part07/edit_rules_8.png
diff --git a/_static/img/discovery/part07/header_menu.png b/_static/img/discovery/part07/header_menu.png
diff --git a/_static/img/discovery/part07/icon_delete.png b/_static/img/discovery/part07/icon_delete.png
diff --git a/_static/img/discovery/part07/icon_edit.png b/_static/img/discovery/part07/icon_edit.png
diff --git a/_static/img/discovery/part07/icon_redo.png b/_static/img/discovery/part07/icon_redo.png
diff --git a/_static/img/discovery/part07/icon_undo.png b/_static/img/discovery/part07/icon_undo.png
diff --git a/_static/img/discovery/part07/preparation_overview.png b/_static/img/discovery/part07/preparation_overview.png
diff --git a/discovery/part00/index.rst b/discovery/part00/index.rst
@@ -23,8 +23,7 @@ Metatron Discovery로 즉시 데이터 분석을 시작할 수 있는 방법은
 
 .. toctree::
    :maxdepth: 4
-
+   
    ../part00/step1
    ../part00/step2
    ../part00/step3
-
diff --git a/discovery/part00/step3.rst b/discovery/part00/step3.rst
@@ -2,6 +2,7 @@ Step3. 대시보드 구성하기
 ---------------------------------------------
 
 빈 대시보드에 차트 위젯, 텍스트 위젯, 필터 위젯을 넣어 보면서 대시보드를 구성할 차례입니다.
+
 .. figure:: /_static/img/discovery/part00/create_chart.png
    :align: center
    :alt: 차트 생성
@@ -13,4 +14,3 @@ Step3. 대시보드 구성하기
 .. figure:: /_static/img/discovery/part00/tt08.gif
    :align: center
    :alt: Sales data
-
diff --git a/discovery/part01/engine.rst b/discovery/part01/engine.rst
@@ -2,10 +2,10 @@
 -----------------
 
 .. toctree::
-   :maxdepth: 1
+	:maxdepth: 1
 
-   ../part01/metatron_engine
-   ../part01/metatron_engine_node
-   ../part01/metatron_engine_strength
-   ../part01/metatron_engine_test
+	../part01/metatron_engine
+	../part01/metatron_engine_node
+	../part01/metatron_engine_strength
+	../part01/metatron_engine_test
 
diff --git a/discovery/part01/metatron_engine.rst b/discovery/part01/metatron_engine.rst
@@ -40,6 +40,7 @@ Druid의 데이터 테이블(Druid에서는 ‘데이터 소스’라고 함)은
 
 Druid는 실시간 및 일괄(batch) ingestion을 지원한다. 이 중에서 실시간 ingestion은 Druid의 주요 특징 중 하나인데, 이를 전담하는 real-time 노드군이 있기 때문에 가능한 것이다(자세한 설명은 3.7.1절 ‘Real-time 노드’ 참조). 실시간으로 ingestion되는 데이터 스트림 내 이벤트들은 발생 후 수 초 이내에 Druid 클러스터에서 쿼리가 가능한 포맷으로 인덱싱된다.
 
+.. _data_rollup:
 
 데이터 roll-up
 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
@@ -75,12 +76,12 @@ Druid는 컬럼들을 각각 따로 저장한다. Druid가 주로 이벤트 스
 
 Example: 
 ::
-	Justin Bieber -> 0
+  Justin Bieber -> 0
 	Ke$ha -> 1
 
 이 매핑을 사용하면 page 컬럼을 정수 배열로 나타낼 수 있는데, 여기서 배열 인덱스 각각은 원본 데이터셋의 각 행에 해당한다. page 컬럼의 경우, 각 행의 page 값을 아래와 같이 표시할 수 있다.
 ::
-    [0, 0, 1, 1]
+  [0, 0, 1, 1]
 
 이처럼 문자열들이 고정 길이 정수들로 바뀌어 저장되므로 압축하기가 훨씬 더 수월하다. Druid는 각 shard(세그먼트) 단위로 데이터를 인덱싱한다.
 
@@ -89,27 +90,25 @@ Example:
 
 Druid는 검색 인덱스를 추가로 만들어서 문자열 컬럼에 대한 필터링을 용이하게 할 수 있다. 위 예시 테이블을 다시 보자. 가령 “샌프란시스코에 사는 남성 사용자들이 Wikipedia 편집을 한 횟수는?”과 같은 쿼리가 있을 수 있다. 이 쿼리 예시에는 도시(San Francisco)와 성별(Male)이라는 두 가지 차원이 포함된다. 각 차원별로 아래와 같은 바이너리 배열이 생성되는데, 여기서 배열 인덱스 각각은 해당 행이 쿼리 필터 조건에 부합하는지 여부를 나타낸다.
 ::
-    San Francisco (City) -> rows [1] -> [1][0][0][0]
-    Male (Gender) -> rows [1, 2, 3, 4] -> [1][1][1][1]
+  San Francisco (City) -> rows [1] -> [1][0][0][0]
+  Male (Gender) -> rows [1, 2, 3, 4] -> [1][1][1][1]
 
 그런 다음 쿼리 필터는 이러한 두 배열에 대해 AND 연산을 실시한다.
 ::
-    [1][0][0][0] AND [1][1][1][1] = [1][0][0][0]
+  [1][0][0][0] AND [1][1][1][1] = [1][0][0][0]
 
 그 결과, 행 1만 스캔 대상이 된다. 이런 식으로 필터링된 행만 검색함으로써 불필요한 부하를 방지하는 것이다. 이러한 바이너리 배열은 압축하기도 매우 쉽다. 이러한 검색 인덱싱은 OR 연산에도 사용할 수 있다. 어떤 쿼리가 San Francisco 또는 Calgary을 필터링하는 경우, 배열 인덱스들은 차원값별로 다음과 같을 것이다.
 ::
-    San Francisco (City) -> rows [1] -> [1][0][0][0]
-    Calgary (City) -> rows [3] -> [0][0][1][0]
+  San Francisco (City) -> rows [1] -> [1][0][0][0]
+  Calgary (City) -> rows [3] -> [0][0][1][0]
 
 그런 다음 두 배열에 대해 OR 연산이 수행된다.
 ::
-    [1][0][0][0] OR [0][0][1][0] = [1][0][1][0]
+  [1][0][0][0] OR [0][0][1][0] = [1][0][1][0]
 
 그 결과, 쿼리는 행 1과 3만 스캔한다. 대형 비트맵 셋에 boolean 연산을 실시하는 이러한 접근방식은 검색 엔진에서 널리 사용된다.
 
 
-
-
 쿼리 언어
 ===================================
 
@@ -121,4 +120,4 @@ Druid의 네이티브 쿼리 언어는 JSON over HTTP이며, 주요 쿼리는
 * Sum, Min, Max, Avg 등의 집계 연산
 * 차원값 검색
 
-하지만 이 외에도 SQL을 비롯한 다양한 언어로 이루어진 쿼리 라이브러리가 생성·공유되고있다.
+하지만 이 외에도 SQL을 비롯한 다양한 언어로 이루어진 쿼리 라이브러리가 생성·공유되고있다.
diff --git a/discovery/part01/structure.rst b/discovery/part01/structure.rst
@@ -12,7 +12,7 @@ Metatron Discovery는 metatron 운용 서버에 적재된 데이터 소스나
 
 데이터 프리퍼레이션
 =====================================
-데이터 프리퍼레이션은 원천 데이터에서부터 데이터를 정제 및 가공하여 메타트론으로 적재하는 기능을 제공합니다. 데이터 프리퍼레이션에 대한 자세한 설명은 :doc:`../part07/data_preparation_overview` 를 참조하세요.
+데이터 프리퍼레이션은 원천 데이터에서부터 데이터를 정제 및 가공하여 메타트론으로 적재하는 기능을 제공합니다. 데이터 프리퍼레이션에 대한 자세한 설명은 :doc:`../part07/index` 를 참조하세요.
 
 .. figure:: /_static/img/discovery/part01/prep.png
    :align: center
@@ -26,17 +26,17 @@ Metatron Discovery는 metatron 운용 서버에 적재된 데이터 소스나
 
 데이터 스토리지
 ======================================
-데이터 스토리지는 메타트론 내에서 사용될 메타트론 엔진에 적재된 데이터를 관리합니다. 데이터 관리 기능에 대한 자세한 설명은 :doc:`../part02/data_management_overview` 를 참조하세요.
+데이터 스토리지는 메타트론 내에서 사용될 메타트론 엔진에 적재된 데이터를 관리합니다. 데이터 관리 기능에 대한 자세한 설명은 :doc:`../part02/index` 를 참조하세요.
 
 
 .. figure:: /_static/img/discovery/part01/datasource.png
    :align: center
-   :alt: 데이터소스 상세 화면
+   :alt: 데이터 소스 상세 화면
 
 
 .. figure:: /_static/img/discovery/part01/datasource2.png
    :align: center
-   :alt: 데이터소스 생성 화면
+   :alt: 데이터 소스 생성 화면
 
 ---------------------------------------------------
 
@@ -46,7 +46,7 @@ Metatron Discovery는 metatron 운용 서버에 적재된 데이터 소스나
 
 워크스페이스
 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
-워크스페이스는 조직 내에서 사용할 워크북, 워크벤치, 노트북을 권한에 따라 관리할 수 있습니다. 워크스페이스 기능에 대한 자세한 설명은 :doc:`../part03/workspace_overview` 를 참조하세요.
+워크스페이스는 조직 내에서 사용할 워크북, 워크벤치, 노트북을 권한에 따라 관리할 수 있습니다. 워크스페이스 기능에 대한 자세한 설명은 :doc:`../part03/index` 를 참조하세요.
 
 
 .. figure:: /_static/img/discovery/part01/workspace.png
@@ -55,7 +55,7 @@ Metatron Discovery는 metatron 운용 서버에 적재된 데이터 소스나
 
 워크북, 대시보드 그리고 차트
 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
-워크북은 대시보드와 차트를 PPT 처럼 작업하고 한 워크북안에서 여러 대시보드를 보고 프리젠테이션 하는 방식입니다. 워크북 기능에 대한 자세한 설명은 :doc:`../part04/workbook_overview` 를 참조하세요.
+워크북은 대시보드와 차트를 PPT 처럼 작업하고 한 워크북안에서 여러 대시보드를 보고 프리젠테이션 하는 방식입니다. 워크북 기능에 대한 자세한 설명은 :doc:`../part04/index` 를 참조하세요.
 
 .. figure:: /_static/img/discovery/part01/dashboard.png
    :align: center
@@ -71,11 +71,11 @@ Metatron Discovery는 metatron 운용 서버에 적재된 데이터 소스나
 
 노트북
 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
-Machine Learning 기반 고급 분석을 수행할 수 있습니다. 노트북 기능에 대한 자세한 설명은 :doc:`../part05/notebook_overview` 를 참조하세요.
+Machine Learning 기반 고급 분석을 수행할 수 있습니다. 노트북 기능에 대한 자세한 설명은 :doc:`../part05/index` 를 참조하세요.
 
 워크벤치
 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
-SQL 기반 분석을 수행할 수 있습니다. 기능에 대한 자세한 설명은 :doc:`../part06/06_01-workbench_overview` 를 참조하세요.
+SQL 기반 분석을 수행할 수 있습니다. 기능에 대한 자세한 설명은 :doc:`../part06/index` 를 참조하세요.
 
 .. figure:: /_static/img/discovery/part01/sql.png
    :align: center