Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Flink 源码分析 #28

Open
wangzzu opened this issue Mar 19, 2019 · 5 comments
Open

Flink 源码分析 #28

wangzzu opened this issue Mar 19, 2019 · 5 comments
Assignees

Comments

@wangzzu
Copy link
Owner

@wangzzu wangzzu commented Mar 19, 2019

近段时间会花时间研究 Flink 源码实现相关的内容,这个 issue 会记录相关的总结文章(2019.3.19立,计划半年左右把 core、runtime、table&sql 部分的内容梳理完,这个系列的文章大概会叫做【Flink 原理与实现分析】)。

最近半年工作比较忙,这个系列一直没有开始,上周 Flink 1.9 正式发布了,后面会以 Flink 1.9 的代码为例,整理一下 Flink 相关的内容,计划元旦前把几个核心的模块整理完。--- 2019.8.25 立

@wangzzu wangzzu self-assigned this Mar 19, 2019
@zhougit86

This comment has been minimized.

Copy link

@zhougit86 zhougit86 commented Aug 10, 2019

@wangzzu 大佬什么时候开始介绍flink,谢谢

@wangzzu

This comment has been minimized.

Copy link
Owner Author

@wangzzu wangzzu commented Aug 11, 2019

@zhougit86 快了,最近有点忙,下周开始写 Flink 相关的博客,争取半年内把核心内容介绍完。

@zhaochuanyun

This comment has been minimized.

Copy link

@zhaochuanyun zhaochuanyun commented Aug 20, 2019

请教个问题,flink里面的datastream都是按照window的方式进行操作的吗?如果不手动指定datasteam的window操作直接进行其他算子的运算,默认会把datastream转成window再来操作吗?

@wangzzu

This comment has been minimized.

Copy link
Owner Author

@wangzzu wangzzu commented Aug 20, 2019

@zhaochuanyun 这个代码实现我还没看,但我理解应该不会这样做,如果不需要 window,DataStream 再转化为 window 去做,性能反而会受影响,这个有点使力太猛了

@wangzzu

This comment has been minimized.

Copy link
Owner Author

@wangzzu wangzzu commented Sep 5, 2019

整体还是会是以源码分析的形式来讲述。

暂时会先按照以下内容梳理 (以最新的 1.9 代码为示例,先来详细分析 runtime 和 core 相关,这个整理完,再看 DataStream API、Table API 和 SQL 相关,相关 operator 和算子都会在后面介绍 ):

主题 内容 链接 完成时间
Flink 初探 简介、架构、部署和示例 Apache Flink 初探 2019-11-23
Flink Master 详解 包含三部分:Resource Manager, Dispatcher and JobManager,主要介绍前两个
JobManager 详解
TaskManager 详解
graph 的转换 StreamGraph 的转换 Flink DataStream API 概述及 StreamGraph 如何转换 2019-12-08
graph 的转换 JobGraph 的转换 Flink Streaming 作业如何转化为 JobGraph 2019-12-10
graph 的转换 ExecutionGraph 的转换
调度机制详解 内部计算单位是如何划分的,一个作业提交后如何进行调度
checkpoint 机制
内存管理
网络协议栈
yarn 提交过程详解
JobManager High Availability 详解

其他:

  1. AKKA 在 Flink 的中使用;
@wangzzu wangzzu changed the title Flink 原理与实现 Flink 源码分析 Sep 9, 2019
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
3 participants
You can’t perform that action at this time.