-
Notifications
You must be signed in to change notification settings - Fork 42
What is rlink?
yorkart edited this page Jul 5, 2021
·
1 revision
相对于在线业务,rlink-rs更关注海量数据的离线流式处理场景,提升吞吐能力、降低资源消耗。其特点是针对exactly once提供计算和输出两种语义;基于特殊的exactly once输出语义,结合rust内存管理模型,实现大部分场景的全内存计算,解决state和checkpoint引起的重量级IO操作。
rlink-rs的目标是成为一个计算驱动引擎,允许基于DAG定制你自己的计算流程、实现自己的计算语义。
- 因为rust语言不如Java动态语言可以反射,在用户api上不那么优雅。
- 只是想在语义上实现类似flink的api,实现上还是想走一条新的路线,毕竟flink有历史包袱,它的实现我们不需要100%参考。