flink/Flink知识脑图.mmd

Mind Map generated by NB MindMap plugin   
> __version__=`1.1`,showJumps=`true`
---

# Flink

## Flink概述

### 重要特点

## 安装

### standalone模式

### yarn模式

#### session\-cluster

#### per job cluster

### Kubernetes部署

## 运行时架构
> leftSide=`true`


### 组件

#### 作业管理器（JobManager）

#### 资源管理器（ResourceManager）

#### 任务管理器（TaskManager）

#### 分发器（Dispatcher）
> leftSide=`true`


### 任务提交的流程

#### 各组件的交互流程

#### yarn模式任务提交流程
> leftSide=`true`


#### 任务调度原理

##### TaskManger与Slots

##### 程序与数据流（DataFlow）

##### 执行图（ExecutionGraph）

###### StreamGraph

###### JobGraph

###### ExecutionGraph
> leftSide=`true`


###### 物理执行图

##### 并行度

##### 任务链
> leftSide=`true`


## API
> leftSide=`true`


### Environment

### DataSource

#### 基于文本readTextFile

#### 基于Socket：socketTextStream
> leftSide=`true`


#### 基于集合：fromCollection

#### 自定义输入：addSource
> leftSide=`true`


##### FlinkKafkaConsumer011

##### 自定义Source，实现SourceFunction

### Transform

#### 基本转换算子

#### 分区汇总转换算子
> leftSide=`true`


#### 多流转换算子
> leftSide=`true`


### 流支持的数据类型

#### 基础数据类型

#### java和Scala元组
> leftSide=`true`


#### Scala样例类
> leftSide=`true`


#### Java简单对象
> leftSide=`true`


#### 其他
> leftSide=`true`


### UDF函数

#### 富函数RichFunction

### Sink
> leftSide=`true`


#### FlinkKafkaProducer011

#### Redis

#### ElasticSearch
> leftSide=`true`


#### 自定义Sink

##### MySQL

## Window

### 类型

#### TimeWindow

##### 滚动时间窗口

##### 滑动时间窗口

##### 会话窗口

#### CountWindow

##### 滚动计数窗口

##### 滑动计数窗口

### API

#### 窗口分配器

#### 窗口函数

#### 触发器

#### 移除器

#### 其他

## Watermark
> leftSide=`true`


### 时间语义

### Watermark的含义和特点
> leftSide=`true`


### Watermark的传递
> leftSide=`true`


### Watermark的设定与使用
> leftSide=`true`


#### TimestampAssigner

#### 与迟到机制的结合

## 底层API（ProcessFunction）

### 8种类型

### ctx\.timestamp\(\)的不同行为表现

### TimeService和定时器

### 侧输出流

### CoProcess

## 状态编程和容错机制

### 概述

### 有状态的算子

#### 算子状态

#### 键控状态（重点）

#### 状态后端

##### 功能

##### 类型

### 状态一致性

#### 一致性级别和技术框架的演变

#### 端到端一致性

##### source是否可重置

##### sink

###### 幂等性写入

###### 事务性写入

####### 预写日志

####### 两阶段提交

### 检查点

#### 异步分界线快照

#### 结合两阶段提交

## Flink CEP

### API和基本使用

### 模式序列

#### 严格近邻

#### 宽松近邻

## Flink SQL

## Flink CDC