博客与发布

2021/04/29

Apache Beam 2.29.0

Kenneth Knowles [@KennKnowles]

我们很高兴推出 Beam 的新版本 2.29.0。此版本包含改进和新功能。有关此版本的更多信息，请查看 下载页面。

有关 2.29.0 中更改的更多信息，请查看 详细的发布说明。

亮点

  • Spark Classic 和 Portable 运行器正式支持 Spark 3 (BEAM-7093).
  • 大多数运行器 (Dataflow、Flink、Spark) 正式支持 Java 11 (BEAM-2530).
  • DataFrame API 现在支持 GroupBy.apply (BEAM-11628).

I/Os

  • 在 AWS SDK V2 (Java) 中添加了对 S3 文件系统的支持 (BEAM-7637)
  • GCP BigQuery 接收器（文件加载）使用运行器确定的分片来处理无界数据 (BEAM-11772)
  • KafkaIO 现在在写入记录时识别 partition 属性 (BEAM-11806)
  • 支持 ParquetIO 上的 Hadoop 配置 (BEAM-11913)

新功能/改进

重大更改

  • 为 GroupByKey 和 Stateful DoFns 强制使用确定性编码。以前允许使用非确定性编码，这会导致在某些情况下键无法正确分组。(BEAM-11719) 要恢复旧的行为，可以使用 beam.coders.registry.register_fallback_coder(beam.coders.coders.FakeDeterministicFastPrimitivesCoder()) 注册 FakeDeterministicFastPrimitivesCoder，或者使用 allow_non_deterministic_key_coders 管道选项。

弃用

  • 对 Flink 1.8 和 1.9 的支持将在下一个版本 (2.30.0) 中删除 (BEAM-11948).

已知问题

贡献者列表

根据 git shortlog，以下人员为 2.29.0 版本做出了贡献。感谢所有贡献者！

Ahmet Altay, Alan Myrvold, Alex Amato, Alexander Chermenin, Alexey Romanenko, Allen Pradeep Xavier, Amy Wu, Anant Damle, Andreas Bergmeier, Andrei Balici, Andrew Pilloud, Andy Xu, Ankur Goenka, Bashir Sadjad, Benjamin Gonzalez, Boyuan Zhang, Brian Hulette, Chamikara Jayalath, Chinmoy Mandayam, Chuck Yang, dandy10, Daniel Collins, Daniel Oliveira, David Cavazos, David Huntsperger, David Moravek, Dmytro Kozhevin, Emily Ye, Esun Kim, Evgeniy Belousov, Filip Popić, Fokko Driesprong, Gris Cuevas, Heejong Lee, Ihor Indyk, Ismaël Mejía, Jakub-Sadowski, Jan Lukavský, John Edmonds, Juan Sandoval, 谷口恵輔, Kenneth Jung, Kenneth Knowles, KevinGG, Kiley Sok, Kyle Weaver, MabelYC, Mackenzie Clark, Masato Nakamura, Milena Bukal, Miltos, Minbo Bae, Miraç Vuslat Başaran, mynameborat, Nahian-Al Hasan, Nam Bui, Niel Markwick, Niels Basjes, Ning Kang, Nir Gazit, Pablo Estrada, Ramazan Yapparov, Raphael Sanamyan, Reuven Lax, Rion Williams, Robert Bradshaw, Robert Burke, Rui Wang, Sam Rohde, Sam Whittle, Shehzaad Nakhoda, Shehzaad Nakhoda, Siyuan Chen, Sonam Ramchand, Steve Niemitz, sychen, Sylvain Veyrié, Tim Robertson, Tobias Kaymak, Tomasz Szerszeń, Tomasz Szerszeń, Tomo Suzuki, Tyson Hamilton, Udi Meiri, Valentyn Tymofieiev, Yichi Zhang, Yifan Mai, Yixing Zhang, Yoshiki Obata