diff --git a/code/Flink/flink-basis-java/pom.xml b/code/Flink/flink-basis-java/pom.xml
index 82b282f4..8d41f62b 100644
--- a/code/Flink/flink-basis-java/pom.xml
+++ b/code/Flink/flink-basis-java/pom.xml
@@ -67,6 +67,12 @@ under the License.
 			<scope>provided</scope>
 		</dependency>
 
+		<dependency>
+			<groupId>org.apache.flink</groupId>
+			<artifactId>flink-connector-kafka_2.11</artifactId>
+			<version>1.9.0</version>
+		</dependency>
+
 		<!-- Add connector dependencies here. They must be in the default scope (compile). -->
 
 		<!-- Example:
diff --git a/code/Flink/flink-basis-java/src/main/java/com/heibaiying/connectors/KafkaDemo.java b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/connectors/KafkaDemo.java
new file mode 100644
index 00000000..4bbd1166
--- /dev/null
+++ b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/connectors/KafkaDemo.java
@@ -0,0 +1,28 @@
+package com.heibaiying.connectors;
+
+import org.apache.flink.api.common.serialization.SimpleStringSchema;
+import org.apache.flink.streaming.api.datastream.DataStream;
+import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
+import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;
+
+import java.util.Properties;
+
+/**
+ * @author liuweilong
+ * @version 1.0.0
+ * @ClassName KafkaTest.java
+ * @Description TODO
+ * @createTime 2021年05月03日 22:37:00
+ */
+public class KafkaDemo {
+    public static void main(String[] args) throws Exception {
+        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
+        Properties properties = new Properties();
+        properties.setProperty("bootstrap.servers", "kafka:9092");
+        // 指定监听的主题，并定义Kafka字节消息到Flink对象之间的转换规则
+        DataStream<String> stream = env.addSource(new FlinkKafkaConsumer<>("flink-stream-in-topic", new
+                SimpleStringSchema(), properties));
+        stream.print();
+        env.execute("Flink Streaming");
+    }
+}
diff --git a/code/Flink/flink-basis-java/src/main/java/com/heibaiying/datasource/CustomDataSource.java b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/datasource/CustomDataSource.java
new file mode 100644
index 00000000..d99065b0
--- /dev/null
+++ b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/datasource/CustomDataSource.java
@@ -0,0 +1,38 @@
+package com.heibaiying.datasource;
+
+import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
+import org.apache.flink.streaming.api.functions.source.SourceFunction;
+
+/**
+ * @author liuweilong
+ * @version 1.0.0
+ * @ClassName CustomDataSource.java
+ * @Description TODO
+ * @createTime 2021年05月03日 22:23:00
+ */
+public class CustomDataSource {
+    public static void main(String[] args) throws Exception {
+        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
+        env.addSource(new SourceFunction<Long>() {
+
+            private long count = 0L;
+            private volatile boolean isRunning = true;
+
+            @Override
+            public void run(SourceContext<Long> ctx) throws Exception {
+                if (isRunning && count < 1000) {
+                    //将输入发送出去
+                    ctx.collect(count);
+                    count++;
+                }
+            }
+
+            @Override
+            public void cancel() {
+                isRunning = false;
+            }
+        }).print();
+        env.execute();
+
+    }
+}
diff --git a/code/Flink/flink-basis-java/src/main/java/com/heibaiying/datasource/CustomIterator.java b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/datasource/CustomIterator.java
new file mode 100644
index 00000000..5461145f
--- /dev/null
+++ b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/datasource/CustomIterator.java
@@ -0,0 +1,26 @@
+package com.heibaiying.datasource;
+
+import java.io.Serializable;
+import java.util.Iterator;
+
+/**
+ * @author liuweilong
+ * @version 1.0.0
+ * @ClassName CustomIterator.java
+ * @Description TODO
+ * @createTime 2021年05月03日 22:16:00
+ */
+public class CustomIterator implements Iterator<Integer>, Serializable {
+    private Integer i = 0;
+
+    @Override
+    public boolean hasNext() {
+        return i < 100;
+    }
+
+    @Override
+    public Integer next() {
+        i++;
+        return i;
+    }
+}
diff --git a/code/Flink/flink-basis-java/src/main/java/com/heibaiying/datasource/InnerDataSource.java b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/datasource/InnerDataSource.java
new file mode 100644
index 00000000..4fb20fe4
--- /dev/null
+++ b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/datasource/InnerDataSource.java
@@ -0,0 +1,25 @@
+package com.heibaiying.datasource;
+
+import org.apache.flink.api.common.typeinfo.BasicTypeInfo;
+import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
+
+/**
+ * @author liuweilong
+ * @version 1.0.0
+ * @ClassName InnerDataSource.java
+ * @Description TODO
+ * @createTime 2021年05月03日 22:00:00
+ */
+public class InnerDataSource {
+    public static void main(String[] args) throws Exception {
+//        final String filePath = "/Users/lwl/Desktop/person/github/Java-Note/数据中台.md";
+        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
+//        env.readFile(new TextInputFormat(new Path(filePath))
+//                , filePath, FileProcessingMode.PROCESS_ONCE
+//                , 1
+//                , BasicTypeInfo.STRING_TYPE_INFO).print();
+//        env.fromCollection(Arrays.asList(1, 2, 3, 4, 5)).print();
+        env.fromCollection(new CustomIterator(), BasicTypeInfo.INT_TYPE_INFO).print();
+        env.execute();
+    }
+}
diff --git a/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/AggregationsDemo.java b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/AggregationsDemo.java
new file mode 100644
index 00000000..1dc232dc
--- /dev/null
+++ b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/AggregationsDemo.java
@@ -0,0 +1,39 @@
+package com.heibaiying.transformation;
+
+import com.heibaiying.utils.EnvironmentUtil;
+import org.apache.flink.api.java.tuple.Tuple;
+import org.apache.flink.api.java.tuple.Tuple2;
+import org.apache.flink.streaming.api.datastream.DataStreamSource;
+import org.apache.flink.streaming.api.datastream.KeyedStream;
+import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
+
+/**
+ * @author liuweilong
+ * @version 1.0.0
+ * @ClassName AggregationsDemo.java
+ * @Description Aggregations 是官方提供的聚合算子，封装了常用的聚合操作
+ * @createTime 2021年05月04日 09:58:00
+ */
+public class AggregationsDemo {
+    public static void main(String[] args) throws Exception {
+        StreamExecutionEnvironment env = EnvironmentUtil.getEnvironment();
+        DataStreamSource<Tuple2<String, Integer>> tuple2DataStream = env.fromElements(new Tuple2<>("1", 1)
+                , new Tuple2<>("2", 2), new Tuple2<>("3", 3), new Tuple2<>("5", 5));
+        tuple2DataStream.keyBy(0).sum(1).print();
+
+        KeyedStream<Tuple2<String, Integer>, Tuple> keyedStream = tuple2DataStream.keyBy(0);
+        // 滚动计算指定key的最小值，可以通过index或者fieldName来指定key
+        keyedStream.min(0);
+        keyedStream.min("key");
+        // 滚动计算指定key的最大值
+        keyedStream.max(0);
+        keyedStream.max("key");
+        // 滚动计算指定key的最小值，并返回其对应的元素
+        keyedStream.minBy(0);
+        keyedStream.minBy("key");
+        // 滚动计算指定key的最大值，并返回其对应的元素
+        keyedStream.maxBy(0);
+        keyedStream.maxBy("key");
+        env.execute();
+    }
+}
diff --git a/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/ConnectDemo.java b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/ConnectDemo.java
new file mode 100644
index 00000000..3fc80c0e
--- /dev/null
+++ b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/ConnectDemo.java
@@ -0,0 +1,48 @@
+package com.heibaiying.transformation;
+
+import com.heibaiying.utils.EnvironmentUtil;
+import lombok.extern.slf4j.Slf4j;
+import org.apache.flink.api.java.tuple.Tuple2;
+import org.apache.flink.streaming.api.datastream.ConnectedStreams;
+import org.apache.flink.streaming.api.datastream.DataStreamSource;
+import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
+import org.apache.flink.streaming.api.functions.co.CoMapFunction;
+
+/**
+ * @author liuweilong
+ * @version 1.0.0
+ * @ClassName ConnectDemo.java
+ * @Description Connect 操作用于连接两个或者多个类型不同的 DataStream ，其返回的类型是 ConnectedStreams
+ * ，此时被连接的多个 DataStreams 可以共享彼此之间的数据状态
+ * @createTime 2021年05月04日 10:21:00
+ */
+@Slf4j
+public class ConnectDemo {
+    public static void main(String[] args) throws Exception {
+        StreamExecutionEnvironment env = EnvironmentUtil.getEnvironment();
+
+        DataStreamSource<Tuple2<String, Integer>> streamSource01 = env.fromElements(new
+                Tuple2<>("a", 3), new Tuple2("b", 5));
+
+        DataStreamSource<Integer> streamSource02 = env.fromElements(2, 3, 9);
+
+        // 使用connect进行连接
+        ConnectedStreams<Tuple2<String, Integer>, Integer> connect =
+                streamSource01.connect(streamSource02);
+
+        connect.map(new CoMapFunction<Tuple2<String, Integer>, Integer, Integer>() {
+            @Override
+            public Integer map1(Tuple2<String, Integer> value) throws Exception {
+                log.info("value.f1=" + value.f1);
+                return value.f1;
+            }
+
+            @Override
+            public Integer map2(Integer value) throws Exception {
+                log.info("value=" + value);
+                return value;
+            }
+        }).map(x -> x * 100).print();
+        env.execute();
+    }
+}
diff --git a/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/FilterDemo.java b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/FilterDemo.java
new file mode 100644
index 00000000..81f5bee7
--- /dev/null
+++ b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/FilterDemo.java
@@ -0,0 +1,19 @@
+package com.heibaiying.transformation;
+
+import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
+
+import static com.heibaiying.utils.EnvironmentUtil.getEnvironment;
+
+/**
+ * @author liuweilong
+ * @version 1.0.0
+ * @ClassName FilterDemo.java
+ * @Description TODO
+ * @createTime 2021年05月04日 09:39:00
+ */
+public class FilterDemo {
+    public static void main(String[] args) {
+        StreamExecutionEnvironment env = getEnvironment();
+        env.fromElements(1, 2, 3, 4, 5).filter(x -> x > 3).print();
+    }
+}
diff --git a/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/FlatMapDemo.java b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/FlatMapDemo.java
new file mode 100644
index 00000000..6fa4dd2c
--- /dev/null
+++ b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/FlatMapDemo.java
@@ -0,0 +1,31 @@
+package com.heibaiying.transformation;
+
+import org.apache.flink.api.common.functions.FlatMapFunction;
+import org.apache.flink.streaming.api.datastream.DataStream;
+import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
+import org.apache.flink.util.Collector;
+
+/**
+ * @author liuweilong
+ * @version 1.0.0
+ * @ClassName FlatMapDemo.java
+ * @Description TODO
+ * @createTime 2021年05月04日 08:57:00
+ */
+public class FlatMapDemo {
+    public static void main(String[] args) throws Exception {
+        String string01 = "one one one two two";
+        String string02 = "third third third four";
+        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
+        DataStream<String> stringDataStream = env.fromElements(string01, string02);
+        stringDataStream.flatMap(new FlatMapFunction<String, String>() {
+            @Override
+            public void flatMap(String value, Collector<String> out) throws Exception {
+                for (String s : value.split(" ")) {
+                    out.collect(s);
+                }
+            }
+        }).print();
+        env.execute();
+    }
+}
diff --git a/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/KeyByAndReduceDemo.java b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/KeyByAndReduceDemo.java
new file mode 100644
index 00000000..a8950067
--- /dev/null
+++ b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/KeyByAndReduceDemo.java
@@ -0,0 +1,32 @@
+package com.heibaiying.transformation;
+
+import com.heibaiying.utils.EnvironmentUtil;
+import org.apache.flink.api.common.functions.ReduceFunction;
+import org.apache.flink.api.java.tuple.Tuple;
+import org.apache.flink.api.java.tuple.Tuple2;
+import org.apache.flink.streaming.api.datastream.DataStreamSource;
+import org.apache.flink.streaming.api.datastream.KeyedStream;
+import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
+
+/**
+ * @author liuweilong
+ * @version 1.0.0
+ * @ClassName KeyByAndReduceDemo.java
+ * @Description KeyBy [DataStream → KeyedStream] ：用于将相同 Key 值的数据分到相同的分区中,Reduce [KeyedStream → DataStream] ：用于对数据执行归约计算。
+ * KeyBy 操作存在以下两个限制：
+ * KeyBy 操作用于用户自定义的 POJOs 类型时，该自定义类型必须重写 hashCode 方法；
+ * KeyBy 操作不能用于数组类型。
+ * @createTime 2021年05月04日 09:44:00
+ */
+public class KeyByAndReduceDemo {
+    public static void main(String[] args) throws Exception {
+        StreamExecutionEnvironment env = EnvironmentUtil.getEnvironment();
+        DataStreamSource<Tuple2<String, Integer>> tuple2DataStream = env.fromElements(new Tuple2<>("1", 1)
+                , new Tuple2<>("2", 2), new Tuple2<>("3", 3), new Tuple2<>("5", 5));
+        KeyedStream<Tuple2<String, Integer>, Tuple> keyedStream = tuple2DataStream.keyBy(0);
+
+        keyedStream.reduce((ReduceFunction<Tuple2<String, Integer>>) (value1, value2)
+                -> new Tuple2<>(value1.f0, value1.f1 + value2.f1)).print();
+        env.execute();
+    }
+}
diff --git a/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/MapDemo.java b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/MapDemo.java
new file mode 100644
index 00000000..69dc9053
--- /dev/null
+++ b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/MapDemo.java
@@ -0,0 +1,21 @@
+package com.heibaiying.transformation;
+
+import org.apache.flink.api.common.functions.MapFunction;
+import org.apache.flink.streaming.api.datastream.DataStream;
+import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
+
+/**
+ * @author liuweilong
+ * @version 1.0.0
+ * @ClassName Map.java
+ * @Description TODO
+ * @createTime 2021年05月04日 08:46:00
+ */
+public class MapDemo {
+    public static void main(String[] args) throws Exception {
+        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
+        DataStream<Integer> integerDataStream = env.fromElements(1, 2, 3, 4, 5);
+        integerDataStream.map((MapFunction<Integer, Object>) value -> value * 2).print();
+        env.execute();
+    }
+}
diff --git a/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/UnionDemo.java b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/UnionDemo.java
new file mode 100644
index 00000000..08d3f033
--- /dev/null
+++ b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/transformation/UnionDemo.java
@@ -0,0 +1,29 @@
+package com.heibaiying.transformation;
+
+import com.heibaiying.utils.EnvironmentUtil;
+import org.apache.flink.api.java.tuple.Tuple2;
+import org.apache.flink.streaming.api.datastream.DataStreamSource;
+import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
+
+/**
+ * @author liuweilong
+ * @version 1.0.0
+ * @ClassName UnionDemo.java
+ * @Description 用于连接两个或者多个元素类型相同的 DataStream
+ * @createTime 2021年05月04日 10:13:00
+ */
+public class UnionDemo {
+    public static void main(String[] args) throws Exception {
+        StreamExecutionEnvironment env = EnvironmentUtil.getEnvironment();
+        DataStreamSource<Tuple2<String, Integer>>  streamSource01 = env.fromElements(
+                new Tuple2<>("a", 1)
+                ,new Tuple2<>("a", 2));
+
+        DataStreamSource<Tuple2<String, Integer>>  streamSource02 = env.fromElements(
+                new Tuple2<>("b", 1), new Tuple2<>("b", 2));
+
+//        streamSource01.union(streamSource02).print();
+          streamSource01.union(streamSource01,streamSource02).print();
+        env.execute();
+    }
+}
diff --git a/code/Flink/flink-basis-java/src/main/java/com/heibaiying/utils/EnvironmentUtil.java b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/utils/EnvironmentUtil.java
new file mode 100644
index 00000000..e649737d
--- /dev/null
+++ b/code/Flink/flink-basis-java/src/main/java/com/heibaiying/utils/EnvironmentUtil.java
@@ -0,0 +1,17 @@
+package com.heibaiying.utils;
+
+import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
+
+/**
+ * @author liuweilong
+ * @version 1.0.0
+ * @ClassName EnvironmentUtil.java
+ * @Description TODO
+ * @createTime 2021年05月04日 09:40:00
+ */
+public class EnvironmentUtil {
+    public static StreamExecutionEnvironment getEnvironment() {
+        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
+        return env;
+    }
+}
diff --git "a/notes/\346\225\260\346\215\256\344\270\255\345\217\260.md" "b/notes/\346\225\260\346\215\256\344\270\255\345\217\260.md"
new file mode 100644
index 00000000..46771436
--- /dev/null
+++ "b/notes/\346\225\260\346\215\256\344\270\255\345\217\260.md"
@@ -0,0 +1,382 @@
+# 一、什么是数据中台
+
+## 定义
+
+数据中台是一套可持续“让企 业的数据用起来”的机制，是一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建的 一套持续不断把数据变成资产并服务于业务的机制。
+
+## 核心能力
+
+四个核心能力：数据中台需要具备**数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现**4个核心能力，让企业员工、客户、伙伴能够方便地应用数 据。
+
+## 两个概念
+
+### 数据中台 vs 业务中台
+
+业务中台更多偏向于业务流程管控，将业务流程中共性的服务抽象出 来，形成通用的服务能力
+
+业务中台是抽象业务流程的共性形成通用业务服务能力，而数据中台则是**抽象数据能力的共性形成通用数据服务能力**
+
+### 数据整体 vs 数据仓库
+
+数据仓库的主要场景是支持管理决策和业务分析，而数据中台则是将**数据服务化之后提供给业务系统，目标是将数据能力渗透到各个业务环 节**，不限于决策分析类场景
+
+## 价值
+
+### 业务价值和技术价值
+
+业务价值：**从洞察走向赋能业务创新，形成核心 壁垒**
+
+技术价值：能力多、成本低、应用广
+
+**价值链：数据资产化-资产服务化-服务业务化-业务数据化，这是一个闭环**
+
+# 二、数据中台的建设与架构
+
+## 建设内容
+
+### 技术体系
+
+技术体系分两个层面：大数据存储计算技术和数据中台工具技术组件。
+
+技术体系主要关注点是工具技术组件。大数据存储计算技术，比如 Hadoop、Spark、Flink、Greenplum、Elasticsearch、Redis、Phoenix等， 相对标准，企业只需要进行合理选型即可，并不需要自己建设，而且技术难度很大，企业也不太可能自己建设。
+
+### 数据体系
+
+数据体系是数据中台建设、管理、使用的核心要素， 全企业的数据通 过各种方式汇聚到数据中台，在数据中台按照一定的建模方式进行加 工，形成企业的数据资产体系。
+
+### 服务体系
+
+数据中台与大数据平台的最主要区别是数据能更方便地以服务化的方式 支撑业务，而这是通过数据中台服务体系实现的。服务体系是通过数据 中台的服务组件能力， 把数据变为一种服务能力，比如客户微观画像 服务、信用评估服务、风险预警服务等，让数据能够方便地参与到业务 中并为业务带去价值。
+
+### 运营体系
+
+运营体系是数据中台得以健康、持续运转的基础。 运营体系包括平台 流程规范执行监督、平台资源占用的监管及优化推动、数据质量的监督 及改进推动、数据价值的评估、数据服务的推广、稽查排名等。
+
+## 关键步骤
+
+### 理现状
+
+梳理企业的系统建设、已经拥有的数据以及业务特点等现状，了解企业 对数据中台的认知，以及相应的数据文化建设情况。点对点地与业务部 门、IT部门进行沟通，获取企业的产品和服务信息，形成业务现状调研 报告，同时了解目前企业以怎样的组织形态来保证客户的服务能力。
+
+### 立架构
+
+- 业务架构：保障数据中台能够适用于企业的业务运管模型和流程体系。
+- 技术架构：主要是指技术体系中的数据基座，主要根据业务架构近远 期规划，对数据的存储和计算进行统一的选型。 
+- 应用架构：特指数据中台应用架构，后面几个关键步骤的内容所依赖 的工具主要由数据中台作为平台应用来承接。 
+
+### 建资产
+
+数据集成、资产萃取、数据标准、数据质量
+
+### 用数据
+
+数据安全、场景服务
+
+### 做运营
+
+监控审计、价值评估、质量评估、资产排名
+
+## 数据中台架构
+
+### 数据汇聚
+
+数据汇聚是数据中台数据接入的入口。数据中台本身几乎不产生数据， 所有数据来自于业务系统、日志、文件、网络等，这些数据分散在不同 的网络环境和存储平台中，难以利用，很难产生业务价值。数据汇聚是数据中台必须提供的核心工具，把各种异构网络、异构数据源的数据方 便地采集到数据中台中进行集中存储，为后续的加工建模做准备。数据 汇聚方式一般有数据库同步、埋点、网络爬虫、消息队列等；从汇聚的 时效性来分，有离线批量汇聚和实时采集。
+
+### 数据开发
+
+数据开发是一整套数 据加工以及加工过程管控的工具，有经验的数据开发、算法建模人员利 用数据加工模块提供的功能，可以快速把数据加工成对业务有价值的形 式，提供给业务使用。
+
+### 数据体系
+
+有了数据汇聚、数据开发模块，中台已经具备传统数据仓库（后面简 称：数仓）平台的基本能力，可以做数据的汇聚以及各种数据开发，就 可以建立企业的数据体系。
+
+笔者建议数据按照贴源数据、统一数仓、标签数据、 应用数据的标准统一建设。 
+
+### 数据资产管理
+
+数据资产管理包括对数据资产目 录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示， 以一种更直观的方式展现企业的数据资产，提升企业的数据意识。 
+
+## 数据服务体系
+
+数据服务体系就是把数 据变为一种服务能力，通过数据服务让数据参与到业务，激活整个数据 中台，数据服务体系是数据中台存在的价值所在。
+
+数据中台的服务 模块并没有自带很多服务，而是提供快速的服务生成能力以及服务的管 控、鉴权、计量等功能。 
+
+## 运营体系和安全管理
+
+通过前面的数据汇聚、数据开发、数据体系、数据资产管理、数据服务 体系，已经完成了整个数据中台的搭建和建设，也已经在业务中发挥一 定的价值。
+
+# 三、数据中台建设评估
+
+## 什么样的企业适合建设数据中台
+
+具备以下特点的公司可以加速考虑建立数据中台：
+
+- 企业最好有一定的信息化基础，沉淀了数据，实现了业务数据化过 程。
+- 企业业务复杂，有丰富的数据维度和多个业务场景，特别是多业态型 集团企业。
+- 企业有数字化转型、精细化经营的需求。
+
+# 四、数据汇集联通
+
+## 数据采集
+
+### 线上行为采集
+
+#### 客户端埋点 
+
+常见的客户端埋点方式有三种：全埋点、可视化埋点和代码埋点。这三种方式的应用场景企业可根据自身需求进行选择。 
+
+- 全埋点：将终端设备上用户的所有操作和内容都记录并保存下来，只 需要对内嵌SDK做一些初始配置就可以实现收集全部行为的目的。这也 经常被称为无痕埋点、无埋点等。 
+- 可视化埋点：将终端设备上用户的一部分操作，通过服务端配置的方 式有选择性地记录并保存。 
+- 代码埋点：根据需求来定制每次的收集内容，需要对相应的终端模块 进行升级。
+
+#### 服务端埋点
+
+除了前面介绍的客户端埋点，常见的线上埋点还有服务端埋点，通过在 系统服务器端部署相应的数据采集模块，将这部分数据作为行为数据进 行处理和分析。
+
+### 线下行为采集
+
+线下行为数据主要通过一些硬件来采集，如常见的Wi-Fi探针、摄像 头、传感器等。随着设备的升级，各种场景中对智能设备的应用也越来 越多，安防、客户监测、考勤等都开始深入到生活中。常见的主要有 Wi-Fi信号采集、信令数据采集、图像视频采集以及传感器探测等。 
+
+### 互联网数据采集
+
+网络爬虫又称为网页蜘蛛，是一种按照既定规则自动抓取互联网信息的 程序或者脚本，常用来做网站的自动化测试和行为模拟。
+
+网络爬虫有多种实现方式，目前有较多的开源框架 可以使用，如Apache Nutch 2、WebMagic、Scrapy、PHPCrawl等，可以 快速根据自己的实际应用场景去构建数据抓取逻辑。当然，需要遵守相 应的协议和法规，同时避免对目标网站造成过大的请求压力。 
+
+### 内部数据汇聚
+
+在数据建设过程中有ETL（Extract-Transform-Load，抽取–转换–存储） 的操作，即在数据抽取过程中进行数据的加工转换，然后加载至存储 中。
+
+但在大规模数据场景下，一般不建议采用ETL的方式，建议采用 ELT（Extract-Load-Transform，抽取–存储–转换）的模式，即将数据抽 取后直接加载到存储中，再通过大数据和人工智能相关技术对数据进行 清洗和处理。
+
+如果采用ETL的模式在传输过程中进行复杂的清洗，会因 为数据体量过大和清洗逻辑的复杂性导致数据传输的效率大大降低。
+
+另 一方面，ETL模式在清洗过程中只提取有价值的信息进行存储，而是否 有价值是基于当前对数据的认知来判断的，由于数据价值会随着我们对数据的认知以及数据智能相关技术的发展而不断被挖掘，因此ETL模式 很容易出现一些有价值的数据被清洗掉，导致当某一天需要用这些数据 时，又需要重新处理，甚至数据丢失无法找回。相比存储的成本，这种 损失可能会更大。
+
+#### 开源工具
+
+在数据能力建设过程中，很多企业结合自身的场景和最佳实践也开源了 一些优秀的汇聚工具，如Sqoop、DataX、Canal等，适用场景不同，也 各有优缺点。 
+
+## 数据交换
+
+### 数据源管理
+
+数据源管理主要是管理数据所用的存储，用于平台在做数据交换时，可 以方便地对外部存储进行相应的管理。数据源可以是已有系统存储业务 数据的地方，作为数据中台的数据来源，也可以是数据应用场景，为应 用场景提供结果数据存储的地方。 涉及的数据源会有很多 种，大致可以分成：
+
+- 关系型数据库：如Oracle、MySQL、SQL Server、Greenplum等。 
+- NoSQL存储：如HBase、Redis、Elasticsearch、Cassandra、MongoDB、 Neo4J等。 
+- 网络及MQ：如Kafka、HTTP等。 
+- 文件系统：如HDFS、FTP、OSS、CSV、TXT、Excel等。 
+- 大数据相关：如Hive、Impala、Kudu、MaxCompute、ADB、LibrA、 ELK等。 
+
+### 离线数据交换
+
+离线数据交换是针对数据时效要求低、吞吐量大的场景，解决大规模数 据的批量迁移问题，其实现原理是将不同数据源的交换抽象为从源头数 据源读取数据的读取插件，以及向目标端写入数据的写入插件，理论上 可以支持任意类型数据源的数据交换工作。采用插件化方式构建，将数 据源读取和写入抽象成读取插件、写入插件。 
+
+### 实时数据交换
+
+实时数据交换主要负责把数据库、日志、爬虫等数据实时接入Kafka、 Hive、Oracle等存储中，便于后续进行实时计算或供业务查询分析使用。
+
+实时同步有两个核心服务：数据订阅服务（Client Server）、数据消费 服务（Consumer Server）。 
+
+数据订阅服务主要包含数据的订阅和读取、任务实例的启停控制等功 能，Client Server采用插件式设计思路，可以支持扩展不同类型的数据 订阅读取。 
+
+数据消费服务主要包含任务状态控制、数据解析、数据过滤、数据转 换、数据写入等功能，通过TCP通信方式和数据订阅方式进行数据读取 和传输，经过任务配置的过滤、转换等功能写入到目的端数据源中。数 据消费服务也采用插件式设计思路，可以支持目的端扩展不同类型的数 据源写入。 
+
+## 数据存储选择
+
+### 在线与离线
+
+在线存储是指存储设备和所存储的数据时刻保持“在线”状态，可供用户 随意读取，满足计算平台对数据访问的速度要求，就像PC机中常用的 磁盘存储模式一样。在线存储设备一般为磁盘、磁盘阵列、云存储等。 
+
+当需要对已 写入的数据进行修改时，所有的数据都需要全部进行改写。因此，离线 存储的访问速度慢、效率低。离线存储的典型产品是硬盘、磁带和光盘 等。
+
+### OLTP与OLAP 
+
+OLTP和OLAP是相对传统的术语，但是在大数据时代，它们又有新的使 命。需要强调的是，OLTP和OLAP并不是竞争或者互斥的关系，相反， 它们相互协作，互利共赢，OLTP用于存储和管理日常操作的数据， OLAP用于分析这些数据。
+
+OLTP（On-Line Transaction Processing，联机事务处理）是专注于面向 事务的任务的一类数据处理，通常涉及在数据库中插入、更新或删除少 量数据，主要处理大量用户下的大量事务。
+
+OLAP，也叫联机分析处理（On-Line Analytical Processing）系统，有的 时候也叫DSS（决策支持系统），就是我们说的数据仓库。常用于报表 分析场景，相对于OLTP，对准确性（如id-mapping）、事务性和实时性 要求较低。
+
+# 五、数据开发
+
+数据开发涉及的产品能力主要包括三个部分，分别是离线开发、实时开发和算法开发。
+
+## 数据计算的4种能力
+
+笔者们将计算能力根据场景抽象分成四大类：批计算、流计算、在线查 询和即席分析。
+
+### 批计算 
+
+主要用于批量数据的高延时处理场景，如离线数仓的加工、大规模数据 的清洗和挖掘等。目前大多是利用MapReduce、Hive、Spark等计算框架 进行处理，其特点是数据吞吐量大、延时高，适合人机交互少的场景。 
+
+### 流计算 
+
+也叫实时流计算，对于数据的加工处理和应用有较强的实效性要求，常 见于监控告警场景，例如实时分析网络事件，当有异常事件发生时能够 及时介入处理。例如，阿里巴巴“双11”的可视化大屏上的数据展现是根 据浏览、交易数据经过实时计算后展现在可视化大屏上的一种应用。这 类场景目前应用较多的计算框架主要有Flink、Spark Streaming和Storm 等。
+
+### 在线查询 
+
+主要用于数据结果的在线查询、条件过滤和筛选等，如数据检索、条件 过滤等。根据不同的场景也会有多种选择，如营销场景对响应延时要求 高的，一般会采集缓存型的存储计算，如Redis、Tair等；对响应延时要 求正常的，可以选择HBase和MySQL等；需要进行条件过滤、检索的， 可以选择Elasticsearch等。企业一般对在线查询的需求比较旺盛，因此 可能会有多套在线计算的能力提供服务。 
+
+### 即席分析 
+
+主要用于分析型场景和经验统计。一般而言，企业80%的数据处理需求 是在线查询和即席分析。针对不同维度的分析，有多种方式可以提供， 提前固定计算的维度、根据需求任意维度的交叉分析（ad-hoc）等都是 常见的场景。目前也有很多相应的产品、框架来支撑这方面的应用，如 Kylin、Impala、ClickHouse、Hawk等。 
+
+## 离线开发
+
+离线开发套件封装了大数据相关的技术，包括数据加工、数据分析、在 线查询、即席分析等能力，同时也将任务的调度、发布、运维、监控、 告警等进行整合，让开发者可以直接通过浏览器访问，不再需要安装任 何服务，也不用关心底层技术的实现，只需专注于业务的开发，帮助企 业快速构建数据服务，赋能业务。
+
+## 实时开发
+
+随着数据的应用场景越来越丰富，企业对于数据价值反馈到业务中的时 效性要求也越来越高，很早就有人提出过一个概念：数据的价值在于数 据的在线化。实时开发套件是对流计算能力的产品封装。实时计算起源 于对数据加工时效性的严苛需求：数据的业务价值随着时间的流逝会迅 速降低，因此在数据产生后必须尽快对其进行计算和处理。
+
+## 算法开发
+
+DT时代的数据具有高维稀疏特征，对算法处理提出了更高的要求。面 对百亿样本级别的数据量，传统的数据挖掘在辨识价值信息、挖掘数据 关系和数据趋势方面捉襟见肘。
+
+# 六、数据体系建设
+
+## 数据分层
+
+### 贴源数据层ODS
+
+又称操作数据层，对各业务系统数据进行采集、汇聚，尽可能保留原始业务流程数据，与业务系统基本保持一致，仅做简单整合、非结构化数据结构化处理或者增加标 识数据日期描述信息，不做深度清洗加工。 
+
+### 统一数仓层DW
+
+又细分为明细数据层DWD（Data Warehouse Detail）和汇总数据层DWS（Data Warehouse Summary），与 传统数据仓库功能基本一致，对全历史业务过程数据进行建模存储。对 来源于业务系统的数据进行重新组织。业务系统是按照业务流程方便操 作的方式来组织数据的，而统一数仓层从业务易理解的视角来重新组 织，定义一致的指标、维度，各业务板块、业务域按照统一规范独立建 设，从而形成统一规范的标准业务数据体系。 
+
+## 标签数据层TDM
+
+面向对象建模，对跨业务板块、 跨数据域的特定对象数据进行整合，通过ID-Mapping把各个业务板块、 各个业务过程中的同一对象的数据打通，形成对象的全域标签体系，方 便深度分析、挖掘、应用。 
+
+### 应用数据层ADS
+
+按照业务的需要从统一数 仓层、标签数据层抽取数据，并面向业务的特殊需要加工业务特定数 据，以满足业务及性能需求，向特定应用组装应用数据。 
+
+# 七、数据服务体系
+
+数据资产只有形成数据服务被业务所使用，才能体现其价值。
+
+数据服务作为数据中台实现资产服务化的核心能力，是连接前台业务和数据的桥梁，通过服务接口的方式对数据进行封装和开放，快速、灵活地满足上层应用的需求。数据中台能够以提供数据服务的方式直接驱动业务，不需要人的介入，让业务更快地产生价值。
+
+## 定位 
+
+数据服务是对数据进行计算逻辑的封装（过滤查询、多维分析和算法推理等计算逻辑），生成API服务，上层数据应用可以对接数据服务API，让数据快速应用到业务场景中。
+
+数据服务是数据中台能力的出口，是支持数据应用的重要支撑。在数据中台落地支撑业务时，数据分析师或算法工程师可以通过数据服务配置中台数据资产的访问API，这样数据应用产品可以方便地使用中台的数据能力，支撑业务决策和智能创新。
+
+## 分类
+
+### 基础数据服务
+
+它面向的对象是物理表数据，主要面向的场景包括数据查询、多维分析等，通过自定义SQL的方式实现数据中台全域物理表数据的指标获取和分析。 
+
+### 标签画像服务
+
+它面向的对象是标签数据，主要面向的场景包括标签 圈人、画像分析等，通过界面配置方式实现数据中台全域标签数据跨计 算、存储的统一查询分析计算，加快数据应用的开发速度。
+
+### 算法模型服务
+
+它面向的对象是算法模型，主要面向的场景包括智能 营销、个性化推荐和金融风控等，主要通过界面配置方式将算法模型一 键部署为在线API，支撑智能应用和业务。 
+
+## 核心价值
+
+- 确保数据在业务层的全域流通 
+- 降低数据接口的重复建设 
+- 保障数据获取的及时性和稳定高效
+- 使能数据能力扩展 
+
+## 常见的数据服务
+
+### 查询服务
+
+输入特定的查询条件，返回该条件下的数据，以API形式供上层应用调用
+
+### 分析服务
+
+借助分析组件高效的大数据分析能力，对数据进行关联，分析结果通过API形式供上层调用
+
+### 推荐服务
+
+按约定的格式提供历史日志行为数据和实时访问数据，推荐模型就会生成相应的推荐API，从而为上层应用提供推荐服务
+
+### 圈人服务
+
+从全量数据中，基于标签组合筛选符合指定特征条件下的人群，并以API形式对接上层应用系统
+
+## 常见的数据应用
+
+### 数据大屏
+
+将业务可视化，提供业务决策支持
+
+### 智能应用
+
+结合数据建模和人工智能技术，从数据中提炼、发掘、获取有揭式性和可操作性的信息，为业务决策提供智能支持
+
+### 数据报表
+
+对数据进行分析计算、通过表格、图像等形式展现
+
+# 八、数据安全管理
+
+## 统一安全认证和权限管理
+
+有了数据安全管理的理论支持、管控措施，还需要落实到具体的技术实 现上。一提到Hadoop集群安全，首先就会想到业界通用的解决方案： Kerberos。
+
+## 资源隔离
+
+在资源隔离层面，可以通过建立不同的租户，对不同权限的数据资源进 行隔离。多租户技术是一种软件架构技术，可实现在多用户环境下共用 相同的系统或程序组件，并且可确保各用户间数据的隔离性。多租户在 数据存储上存在三种主要的方案，按照隔离程度从高到低，分别是： 
+
+- 独立数据库 
+- 共享数据库，隔离数据架构 
+- 共享数据库，共享数据架构
+
+## 数据加密
+
+在大数据环境下，数据具有多源、异构的特点，数据量大且 类型众多，若对所有数据制订同样的加密策略，则会大大降低数据的机 密性和可用性。因此，需要先进行数据资产安全分类分级，然后对不同 类型和安全等级的数据指定不同的加密要求和加密强度。尤其是大数据 资产中非结构化数据涉及文档、图像和声音等多种类型，其加密等级和 加密实现技术不尽。
+
+根据数据是否流动的特点，数据加密分为存储加密和传输加密。
+
+### 数据存储加密
+
+根据数据的安全分级采用不同的加密方式，一般数据可 以直接采用明文存储或者明文加上验证码存储，对于重要数据和关键数 据则除了附加验证码之外，还需要先加密后存储以防止数据被非法窃取或篡改。
+
+### 数据传输加密
+
+在数据流转过程中，通过端对端的专用加密通道，使数据 以密文形式在网络上进行传输，防止数据被截取。
+
+根据密钥类型的不同，将现代密码技术分为两类：对称加密算法（秘密 钥匙加密）和非对称加密算法（公开密钥加密）。
+
+对称钥匙加密系统是加密和解密均采用同一把秘密钥匙，而且通信双方 都必须获得这把钥匙，并保持钥匙的秘密。非对称密钥加密系统采用的 加密钥匙（公钥）和解密钥匙（私钥）是不同的。 
+
+用户应该根据操作的数据的特点来确定具体使用哪种算法。
+
+## 数据脱敏
+
+为了防止用户隐私信息、商业机密信息和企业内部数据泄露，在数据的 传输、共享、展现等环节，往往需要对数据中台中的某些敏感数据进行 脱敏操作。 
+
+### 敏感数据识别
+
+通过设置敏感数据的发现机制，计算机自动识别敏感 数据，并在发现敏感数据后自动为该敏感数据打上相应的标签。
+
+### 敏感数据脱敏
+
+提供敏感数据的动态脱敏功能，保障敏感数据访问安 全。同时基于大数据安全分析技术，发现访问敏感数据的异常行为，并 在可能的情况下进行追踪。 
+
+## 数据共享安全
+
+### 接口
+
+接口方式包括接口数据（JSON/XML）、流式数据（Kafka）等多种数据访问方式。通过API操作权限管理、API流量管控、API认证管理等手 段实现接口管控。 
+
+### 文件
+
+文件方式主要指通过FTP、SFTP、邮件等对外共享数据，数据类型包括 TXT、CSV、Word、PPT、Excel、HTML等，通过数字暗水印进行安全 防护。数字暗水印通过对共享的文件嵌入暗水印作为标记一起传输，保障数据在发生泄露时，能够提取水印信息并追踪至责任人，达到事后安 全保护的目的，解决了数据泄露后无法追踪、难以定责、难以避免再发 生的问题。 
+
+## 数据的容灾备份
+
+用户可以根据恢复目标将业务的关键等级划分为核心业务系统、一般性 重要业务系统和一般业务系统三个级别，并根据不同级别分别有针对性 地制订容灾备份方案。比如针对核心业务系统，采用存储数据双活的方 式来实现业务系统的持续可用；针对一般性重要业务平台，可以采用主 流成熟的备份系统进行定时备份保护；针对一般业务系统可根据业务数 据的重要程度，采用定时备份或者不备份策略。 
\ No newline at end of file