awesome-big-data

大数据&&分布式系统学习过程中一些经验总结

计算/查询/存储引擎相关

RemoteShuffleService(RSS)

• 各大厂RSS实现

flink

• flink实战总结
• flink学习总结

spark

• spark实战总结
• 【spark-tips】spark2-4-0触发的executor内存溢出排查.md
• 【Spark源码分析】Dynamic-Resource-Allocation设计的思考
• 【Spark源码分析】Broadcast
• 【Spark源码分析】Job提交执行过程详解

impala

• impala集群搭建

任务&资源调度相关

• Airflow 实战总结

Hadoop

• Yarn架构实现解析
• Yarn-Federation源码串读
• Hadoop&Yarn Rpc源码剖析
• MR任务在Hadoop子系统中状态流转
• Hadoop Pipes Ping Timeout问题排查
• 动态调整MR运行时object property方案

kubernetes

• kubernetes federation深度解析
• kubernetes shared Informer 源码解析

OLAP 相关

kylin

• Kylin学习笔记
• Kylin二次开发——测试环境搭建
• kylin-master-slave同步原理及问题排查.md
• kylin-query原理剖析.md

Doris

• okhttp-support-100-continue-for-palo.md

分布式系统论文

• Howard大佬维护的共识算法知识库

• Raft

  • Raft学习总结

• Flink分布式数据流的异步快照核心实现

  • chandy-lamport-algorithm
  • Lightweight Asynchronous Snapshots for Distributed Dataflows

• Massively Parallel Processing (MPP Engine)

  • Massively Parallel Databases and MapReduce Systems

• 火山模型

  • Volcano an Extensible and Parallel Query Evaluation System

• spark论文

  • Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing
  • Structured Streaming: A Declarative API for Real-Time Applications in Apache Spark

• Google Borg

优秀博文汇总

• 大数据&&后端优秀博文汇总