bigdata demo

hadoop

TODO: mapreduce hql： 加工离线表、udf、udaf、udtf 历史故障，如何预防，如何修复 hql： 存储优化、计算加速（中间缓存表） 等等

spark

• 支持的编码语言： Java、Scala、Python、R 和 SQL

TODO: SQL Stream ML graphX

TODO： 看看py和sql的 就行 看看py和sql，如果sql能支持py的全部特征 就不用再看py了

flink

• 支持的编码语言： java、scala、py、SQL

TODO： 消费kafka消息计算特征这种，流式计算 看看py和sql，如果sql能支持py的全部特征 就不用再看py了

links

• flink
  • https://github.com/big-data-europe/docker-flink
• hadoop (inc hive)
  • https://github.com/big-data-europe/docker-hadoop
  • https://github.com/apache/hive
  • https://github.com/apache/pig
  • https://github.com/apache/hbase
  • https://github.com/big-data-europe/docker-hive
  • https://github.com/prestodb/presto
• spark
  • https://github.com/big-data-europe/docker-spark

===

TODO： https://github.com/heibaiying/BigData-Notes https://github.com/zhisheng17/flink-learning https://github.com/pierre94/flink-notes https://confucianzuoyuan.github.io/flink-tutorial/book/chapter01-00-00-%E7%AC%AC%E4%B8%80%E7%AB%A0%EF%BC%8C%E6%9C%89%E7%8A%B6%E6%80%81%E7%9A%84%E6%B5%81%E5%BC%8F%E5%A4%84%E7%90%86%E7%AE%80%E4%BB%8B.html