博客 & 发布

2022/03/04

Apache Beam 2.37.0

Brian Hulette [@BrianHulette]

我们很高兴推出 Beam 的新版本 2.37.0。此版本包含改进和新功能。请参阅 下载页面 以获取此版本。

有关 2.37.0 中更改的更多信息，请查看 详细的发布说明。

亮点

  • Dataflow 的 Java 17 支持 (BEAM-12240).
    • 使用 Dataflow Runner V2 的用户可能会遇到由于对象大小不准确导致的状态缓存问题 (BEAM-13695).
    • ZetaSql 目前不受支持 (问题).
  • Apache Beam 中的 Python 3.9 支持 (BEAM-12000).
    • Dataflow 对 Python 3.9 的支持预计将在 2.37.0 中提供，但发布公告时可能尚未完全可用 (BEAM-13864).
    • Dataflow Runner V2 的用户可以立即使用 2.37.0 版本运行 Python 3.9 管道。

I/Os

  • Go SDK 现在包含以下来自 Java 的跨语言转换的包装器，以及每个转换的自动扩展服务启动。

新功能/改进

  • DataFrame API 现在支持 pandas 1.4.x (BEAM-13605).
  • Go SDK DoFns 现在可以直接观察触发窗格 (BEAM-13757).

已知问题

贡献者列表

根据 git shortlog，以下人员为 2.37.0 版本做出了贡献。感谢所有贡献者！

Aizhamal Nurmamat kyzy Alexander Alexander Chermenin Alexandr Zhuravlev Alexey Romanenko Anand Inguva andoni-guzman andreukus Andy Ye Artur Khanin Aydar Farrakhov Aydar Zainutdinov AydarZaynutdinov Benjamin Gonzalez Brian Hulette Chamikara Jayalath Daniel Oliveira Danny McCormick daria-malkova daria.malkova darshan-sj David Huntsperger dprieto91 emily Etienne Chauchot Fernando Morales Heejong Lee Ismaël Mejía Jack McCluskey Jan Lukavský johnjcasey Kamil Breguła kellen Kenneth Knowles kileys Kyle Weaver Luke Cwik Marcin Kuthan Marco Robles Matt Rudary Miguel Hernandez Milena Bukal Moritz Mack Mostafa Aghajani Ning Kang Pablo Estrada Pavel Avilov Reuven Lax Ritesh Ghorse Robert Bradshaw Robert Burke Sam Whittle Sandy Chapman Sergey Kalinin Thiago Nunes thorbjorn444 Tim Robertson Tomo Suzuki Valentyn Tymofieiev Victor Victor Chen Vitaly Ivanov Yichi Zhang