Apache Beam 2.9.0

我们很高兴推出 Beam 的新版本 2.9.0。此版本包含改进和新功能。请参阅 下载页面 以获取此版本的下载信息。

有关 2.9.0 中更改的更多信息,请查看 详细的发布说明

新功能/改进

依赖升级

  • 将 google-api-client 库更新到 1.27.0。
  • 将 byte-buddy 更新到 1.9.3
  • 将 Flink 运行器更新到 1.5.5
  • 将 google-apitools 升级到 0.5.24

可移植性

  • 为 Flink 运行器添加了对用户状态和计时器的支持。

I/O

  • 用于 RabbitMQ 的 I/O 连接器。
  • 更新 SpannerIO 以支持无界写入。
  • 将 PFADD 方法添加到 RedisIO。

其他修复

  • Dataflow 运行器已更新为不再使用 Conscrypt 作为默认的安全提供程序。
  • 在 Flink 运行器中支持通过 ID 设置/删除计时器。
  • 改进以稳定集成测试。
  • 更新 Spark 运行器以在 Web UI 中显示 Beam 指标
  • 将 gRPC 和 Protobuf 与 beam-model-* Java 包分开。
  • 避免对零个和一个元素创建进行重新洗牌

贡献者列表

根据 git shortlog,以下人员为 2.9.0 版本做出了贡献。感谢所有贡献者!

Adam Horky, Ahmet Altay, Alan Myrvold, Alex Amato, Alexey Romanenko, Andrea Foegler, Andrew Fulton, Andrew Pilloud, Ankur Goenka, Anton Kedin, Babu, Ben Song, Bingfeng Shu, Boyuan Zhang, Brian Martin, Brian Quinlan, Chamikara Jayalath, Charles Chen, Christian Schneider, Colm O hEigeartaigh, Cory Brzycki, CraigChambersG, Daniel Oliveira, David Moravek, Dusan Rychnovsky, Etienne Chauchot, Eugene Kirpichov, Fabien Rousseau, Gleb Kanterov, Heejong Lee, Henning Rohde, Ismaël Mejía, Jan Lukavský, Jaromir Vanek, Jason Kuster, Jean-Baptiste Onofré, Jeff Klukas, Jeroen Steggink, Julien Tournay, Jára Vaněk, Katarzyna Kucharczyk, Keisuke Kondo, Kenneth Knowles, Liam Miller-Cushon, Luke Cwik, Manu Zhang, Mark Liu, Maximilian Michels, Melissa Pashniak, Micah Wylde, Michael Luckey, Mike Pedersen, Mikhail Gryzykhin, Novotnik, Petr, Ondrej Kvasnicka, Pablo Estrada, Pavel Slechta, Raghu Angadi, Reuven Lax, Robbe Sneyders, Robert Bradshaw, Robert Burke, Ruoyu Liu, Ruoyun Huang, Sam Rohde, Sam sam, Scott Wegner, Simon Plovyt, Thomas Weise, Tim Robertson, Tomas Novak, Udi Meiri, Vaclav Plajt, Valentyn Tymofieiev, Varun Dhussa, Vojtech Janota, Wout Scheepers, Xinyu Liu, XuMingmin, Yifan Zou, Yueyang Qiu, akedin, amaliujia, connelloG, flyisland, huygaa11, jasonkuster, jglezt, kkpoon, mareksimunek, matthiasa4, melissa, mingmxu, nielm, reuvenlax, robbe, ruoyu90, splovyt, svXaverius, [email protected], xinyuiscool, xitep, Łukasz Gajowy