我们很高兴地推出 Beam 的新版本 2.41.0。此版本包含改进和新功能。请参阅 下载页面 以获取此版本的下载。

有关 2.41.0 中更改的更多信息，请查看 详细的发布说明。

I/O

• 投影下推优化器现在默认情况下对流式处理启用，与 2.38.0 以来批处理管道行为一致。如果您遇到优化器错误，请提交问题并使用管道选项 --experiments=disable_projection_pushdown 禁用优化器。

新功能/改进

• Python SDK 现在也支持按模块的日志级别覆盖，之前该功能在 Java SDK 中可用。(#18222).

重大更改

• 当投影下推优化器删除未使用的字段时，它可能会破坏优化管道的 Dataflow 升级兼容性。如果您需要升级并遇到兼容性问题，请使用管道选项 --experiments=disable_projection_pushdown 禁用优化器。

弃用

• 对 Spark 2.4.x 的支持已被弃用，并将随着 Beam 2.44.0 或之后不久的版本发布而删除（Spark 运行器）(#22094).
• 用于 AWS Java SDK v1 的模块 amazon-web-services 和 kinesis 已被弃用，建议使用 amazon-web-services2，并将最终在几个 Beam 版本后删除（Java）(#21249).

错误修复

• 修复了在 Java SDK Firestore 连接器中重试查询会导致错误光标的条件 (#22089).
• 修复了 Go SDK 中的管道允许延迟。之前它忽略了用户设置的值，始终设置为 0。(#22474).

已知问题

• 查看影响此版本的 所有开放问题 的完整列表。

贡献者列表

根据 git shortlog，以下人员为 2.41.0 版本做出了贡献。感谢所有贡献者！

Ahmed Abualsaud Ahmet Altay akashorabek Alexey Inkin Alexey Romanenko Anand Inguva andoni-guzman Andrew Pilloud Andrey Andy Ye Balázs Németh Benjamin Gonzalez BjornPrime Brian Hulette bulat safiullin bullet03 Byron Ellis Chamikara Jayalath Damon Douglas Daniel Oliveira Daniel Thevessen Danny McCormick David Huntsperger Dheeraj Gharde Etienne Chauchot Evan Galpin Fernando Morales Heejong Lee Jack McCluskey johnjcasey Kenneth Knowles Ke Wu Kiley Sok Liam Miller-Cushon Lucas Nogueira Luke Cwik MakarkinSAkvelon Manu Zhang Minbo Bae Moritz Mack Naireen Hussain Ning Kang Oleh Borysevych Pablo Estrada pablo rodriguez defino Pranav Bhandari Rebecca Szper Red Daly Reuven Lax Ritesh Ghorse Robert Bradshaw Robert Burke Ryan Thompson Sam Whittle Steven Niemitz Valentyn Tymofieiev Vincent Marquez Vitaly Terentyev Vlad Vladislav Chunikhin Yichi Zhang Yi Hu yirutang Yixiao Shen Yu Feng