博客 & 发布
2018/08/10
Apache Beam 2.6.0
Pablo Estrada [@polecitoem] & Rafael Fernández
我们很高兴推出 Beam 的最新版本 2.6.0。此版本包含多个修复和新功能,例如 SQL 和可移植性中的新功能。
我们还花费了大量时间来自动化发布并修复持续集成。有关更多信息,请查看 发行说明。
新功能 / 改进
gRPC/Protobuf 阴影
- 现在,大多数 Apache Beam Java 模块中都包含了
gRPC/protobuf
的阴影。一些在 API 表面上公开gRPC/protobuf
的模块仍然保留直接依赖关系。
Beam SQL
- 添加了对
EXISTS
和LIKE
运算符的支持。 - 实现了
SUM()
聚合。 - 修复了
CASE
表达式的问题。 - 添加了对日期比较的支持。
- 将无界数据支持添加到
LIMIT
。
可移植性
- 现在,用于支持计时器和用户状态的共享库可用于运行器集成。
- 添加了一个通用本地运行器,它使用可移植性和容器化的 SDK 组件在单台机器上运行。
- Flink 运行器现在接受使用作业 API 的作业。
I/O
- 所有运行器中现在都提供有界
SplittableDoFn
(SDF) 支持(SDF 是新的 I/O 连接器 API)。 HBaseIO
是第一个支持有界 SDF 的 I/O(使用readAll
)。
SDK
- 改进了 Python
AvroIO
的性能。 - Python
AvroIO
有一个use_fastavro
选项,可以使用fastavro
代替apache/avro
,从而实现 3-6 倍的速度提升!
其他
- 更新了各种依赖项版本。
- 改进稳定性、性能和文档。
贡献者列表
根据 git shortlog,以下 39 人为 2.6.0 版本做出了贡献。感谢所有贡献者!
Ahmet Altay, Alan Myrvold, Alexey Romanenko, Andrew Pilloud, Ankur Goenka, Boyuan Zhang, Charles Chen, cclauss, Daniel Oliveira, Elliott Brossard, Eric Beach, Etienne Chauchot, Eugene Kirpichov, Henning Rohde, Ismaël Mejía, Kai Jiang, Kasia, Kenneth Knowles, Luis Osa, Lukasz Cwik, Maria Garcia Herrero, Mark Liu, Matthias Feys, Pablo Estrada, Rafael Fernandez, Reuven Lax, Robert Bradshaw, Robert Burke, Robin Qiu, Ryan Williams, Scott Wegner, Rui Weng, Sergei Lebedev, Sindy Li, Thomas Weise, Udi Meiri, Valentyn Tymofieiev, XuMingmin 和 Yifan Zou。