Apache Beam 2.12.0

我们很高兴地宣布发布 Beam 的新版本 2.12.0。 此版本包括改进和新功能。 请查看 下载页面 以获取此版本的更多信息。

有关 2.12.0 中更改的更多信息,请查看 详细的发布说明.

亮点

I/Os

  • 添加对 Python SDK 的 BigQuery 自定义接收器的支持。
  • 添加对 Java SDK 中为 CassandraIO 指定查询的支持。
  • 添加对跨语言转换的实验性支持,请查看 BEAM-6730
  • 在 Flink 运行器中添加对 KafkaIO 的完全一次写入的支持

新功能 / 改进

  • 在 Python SDK 中为可移植运行器启用包最终化。
  • 添加对 Java SDK 框架合并窗口的支持。
  • 在 Flink 运行器上添加 Kafka 接收器 EOS 支持。
  • 为 Python 流式 BigQuery 接收器添加死信队列。
  • 添加实验性 Python 3.6 和 3.7 工作负载支持。 Beam 2.12 支持在 Python 3.6、3.7 下启动 Dataflow 管道,但是 3.5 仍然是 Dataflow 运行器的唯一推荐次要版本。 除了已宣布的 2.11 限制外,Beam 类型提示注释目前在 Python >= 3.6 上不受支持。

错误修复

  • 各种错误修复和性能改进。

贡献者列表

根据 git shortlog,以下人员为 2.12.0 版本做出了贡献。 感谢所有贡献者!

Ahmed El.Hussaini, Ahmet Altay, Alan Myrvold, Alex Amato, Alexander Savchenko, Alexey Romanenko, Andrew Brampton, Andrew Pilloud, Ankit Jhalaria, Ankur Goenka, Anton Kedin, Boyuan Zhang, Brian Hulette, Chamikara Jayalath, Charles Chen, Colm O hEigeartaigh, Craig Chambers, Dan Duong, Daniel Mescheder, Daniel Oliveira, David Moravek, David Rieber, David Yan, Eric Roshan-Eisner, Etienne Chauchot, Gleb Kanterov, Heejong Lee, Ho Tien Vu, Ismaël Mejía, Jan Lukavský, Jean-Baptiste Onofré, Jeff Klukas, Juta, Kasia Kucharczyk, Kengo Seki, Kenneth Jung, Kenneth Knowles, kevin, Kyle Weaver, Kyle Winkelman, Łukasz Gajowy, Mark Liu, Mathieu Blanchard, Max Charas, Maximilian Michels, Melissa Pashniak, Michael Luckey, Michal Walenia, Mike Kaplinskiy, Mikhail Gryzykhin, Niel Markwick, Pablo Estrada, Radoslaw Stankiewicz, Reuven Lax, Robbe Sneyders, Robert Bradshaw, Robert Burke, Rui Wang, Ruoyun Huang, Ryan Williams, Slava Chernyak, Shahar Frank, Sunil Pedapudi, Thomas Weise, Tim Robertson, Tanay Tummalapalli, Udi Meiri, Valentyn Tymofieiev, Xinyu Liu, Yifan Zou, Yueyang Qiu