Apache Beam 2.6.0

我们很高兴推出 Beam 的最新版本 2.6.0。此版本包含多个修复和新功能,例如 SQL 和可移植性中的新功能。

我们还花费了大量时间来自动化发布并修复持续集成。有关更多信息,请查看 发行说明

新功能 / 改进

gRPC/Protobuf 阴影

  • 现在,大多数 Apache Beam Java 模块中都包含了 gRPC/protobuf 的阴影。一些在 API 表面上公开 gRPC/protobuf 的模块仍然保留直接依赖关系。

Beam SQL

  • 添加了对 EXISTSLIKE 运算符的支持。
  • 实现了 SUM() 聚合。
  • 修复了 CASE 表达式的问题。
  • 添加了对日期比较的支持。
  • 将无界数据支持添加到 LIMIT

可移植性

  • 现在,用于支持计时器和用户状态的共享库可用于运行器集成。
  • 添加了一个通用本地运行器,它使用可移植性和容器化的 SDK 组件在单台机器上运行。
  • Flink 运行器现在接受使用作业 API 的作业。

I/O

  • 所有运行器中现在都提供有界 SplittableDoFn (SDF) 支持(SDF 是新的 I/O 连接器 API)。
  • HBaseIO 是第一个支持有界 SDF 的 I/O(使用 readAll)。

SDK

  • 改进了 Python AvroIO 的性能。
  • Python AvroIO 有一个 use_fastavro 选项,可以使用 fastavro 代替 apache/avro,从而实现 3-6 倍的速度提升

其他

  • 更新了各种依赖项版本。
  • 改进稳定性、性能和文档。

贡献者列表

根据 git shortlog,以下 39 人为 2.6.0 版本做出了贡献。感谢所有贡献者!

Ahmet Altay, Alan Myrvold, Alexey Romanenko, Andrew Pilloud, Ankur Goenka, Boyuan Zhang, Charles Chen, cclauss, Daniel Oliveira, Elliott Brossard, Eric Beach, Etienne Chauchot, Eugene Kirpichov, Henning Rohde, Ismaël Mejía, Kai Jiang, Kasia, Kenneth Knowles, Luis Osa, Lukasz Cwik, Maria Garcia Herrero, Mark Liu, Matthias Feys, Pablo Estrada, Rafael Fernandez, Reuven Lax, Robert Bradshaw, Robert Burke, Robin Qiu, Ryan Williams, Scott Wegner, Rui Weng, Sergei Lebedev, Sindy Li, Thomas Weise, Udi Meiri, Valentyn Tymofieiev, XuMingmin 和 Yifan Zou。