在处理时间时?
可配置触发 |
---|
事件时间触发器 |
处理时间触发器 |
计数触发器 |
复合触发器 |
允许延迟 |
计时器 |
Google Cloud Dataflow | Apache Flink | Apache Spark (基于 RDD/DStream) | Apache Spark 结构化流 (基于 Dataset) | Apache Samza | Apache Nemo | Hazelcast Jet | Twister2 | Python 直接 FnRunner | Go 直接运行器 |
---|
是:完全支持 在流式模式下完全支持。在批处理模式下,中间触发器触发基本上没有意义。 | 是:完全支持 | 是:完全支持 | 部分:在批处理模式下完全支持 | 是:完全支持 | 是:完全支持 | 是:完全支持 | 是:完全支持 |
是:在流式模式下支持,在批处理模式下支持固定粒度 在流式模式下完全支持。在批处理模式下,目前水印进度在输入完全被消费后从时间开始跳到时间结束,因此没有其他触发粒度可用。 | 是:完全支持 | 是:完全支持 | 部分:在批处理模式下完全支持 | 是:完全支持 | 是:完全支持 | 是:完全支持 | 是:完全支持 |
是:在流式模式下支持,在批处理模式下支持固定粒度 在流式模式下完全支持。在批处理模式下,从触发器的角度来看,处理时间目前在输入完全被消费后从时间开始跳到时间结束,因此没有其他触发粒度可用。 | 是:完全支持 | 是:这是 Spark 流式处理的原生模型 Spark 在微批次中处理流。微批次大小实际上是一个预先设置的固定时间间隔。目前,运行器采用管道中的第一个窗口大小并将其大小设置为批次间隔。任何后续的窗口操作将被视为处理时间窗口并将影响触发。 | 部分:在批处理模式下完全支持 | 是:完全支持 | 是:完全支持 | 是:完全支持 | 是:完全支持 |
是:完全支持 在流式模式下完全支持。在批处理模式下,元素以尽可能大的捆绑包进行处理,因此基于计数的触发器实际上没有意义。 | 是:完全支持 | 是:完全支持 | 部分:在批处理模式下完全支持 | 是:完全支持 | 是:完全支持 | 是:完全支持 | 是:完全支持 |
是:完全支持 | 是:完全支持 | 是:完全支持 | 部分:在批处理模式下完全支持 | 是:完全支持 | 是:完全支持 | 是:完全支持 | 部分 |
是:完全支持 在流式模式下完全支持。在批处理模式下,没有数据会延迟。 | 是:完全支持 | 否 | 否:运行器不支持流式处理 | 是:完全支持 | 是:完全支持 | 是:完全支持 | 部分 |
部分:非合并窗口 Dataflow 支持非合并窗口中的计时器。 | 部分:非合并窗口 Flink 运行器支持非合并窗口中的计时器。 | 部分:在批处理模式下完全支持 | 否:未实现 | 部分:非合并窗口 Samza 运行器支持非合并窗口中的计时器。 | 否:未实现 | 部分:非合并窗口 | 部分 |
上次更新于 2024/10/31
你找到你想要的一切了吗?
它是否全部有用且清晰?是否有任何你想改变的地方?让我们知道!