Beam 模型中尚未包含的其他常见功能
排水 |
---|
检查点 |
按键排序的交付 |
Google Cloud Dataflow | Apache Flink | Apache Spark(基于 RDD/DStream) | Apache Spark 结构化流(基于数据集) | Apache Samza | Apache Nemo | Hazelcast Jet | Twister2 | Python Direct FnRunner | Go Direct Runner |
---|
部分 Dataflow 具有本地排水操作,但在事件时间计时器循环存在时不起作用。最终实现取决于模型支持。 | 部分 Flink 支持对管道进行“保存点”,并在管道完成之后关闭它。 | : | : | : | : | : | : | |
没有 | 部分 Flink 具有本地保存点功能。 | 部分 Spark 具有本地保存点功能。 | 没有 未实现 | 部分 Samza 具有本地检查点功能。 | : | : | : | |
部分 Dataflow 对批处理和流式处理执行不同的洗牌算法。Dataflow 保证流式处理中按键排序的交付,但在批处理中则不保证。 | 部分 Flink 可能对批处理和流式处理执行不同的洗牌算法。Flink 保证流式处理中按键排序的交付,但在批处理中则不保证。 | 未经验证 | 未经验证 | 未经验证 | 部分 Samza 可能对批处理和流式处理执行不同的洗牌算法。Samza 保证流式处理中按键排序的交付,但在批处理中则不保证。 | 未经验证 | 未经验证 | 未经验证 |
最后更新时间:2024/10/31
您找到所有您想要的内容了吗?
所有内容是否都很有用且清晰?您想改变什么吗?请告诉我们!