Skip to content

What is rlink?

yorkart edited this page Jul 5, 2021 · 1 revision

rlink-rs是基于rust实现的流式计算引擎,用来作为Apache Flink的替代方案。

相对于在线业务,rlink-rs更关注海量数据的离线流式处理场景,提升吞吐能力、降低资源消耗。其特点是针对exactly once提供计算和输出两种语义;基于特殊的exactly once输出语义,结合rust内存管理模型,实现大部分场景的全内存计算,解决state和checkpoint引起的重量级IO操作。

rlink-rs的目标是成为一个计算驱动引擎,允许基于DAG定制你自己的计算流程、实现自己的计算语义。

希望能从社区得到关于流引擎设计方面的帮助

  1. 因为rust语言不如Java动态语言可以反射,在用户api上不那么优雅。
  2. 只是想在语义上实现类似flink的api,实现上还是想走一条新的路线,毕竟flink有历史包袱,它的实现我们不需要100%参考。