我们很高兴推出 Beam 的新版本 2.47.0。此版本包含改进和新功能。有关此版本的更多信息，请参见下载页面。

有关 2.47.0 中更改的更多信息，请查看详细的发布说明。

亮点

• Apache Beam 添加了对 Python 3.11 的支持 (#23848).

I/Os

• BigQuery Storage Write API 现在可通过跨语言在 Python SDK 中使用 (#21961).
• 添加了对将 RowMutations（按 rowkey 排序）写入 Hbase（Java）的支持的 HbaseIO (#25830).
• 添加了 fileio 转换 MatchFiles、MatchAll 和 ReadMatches（Go）(#25779).
• 添加了针对 JmsIO 的集成测试，并修复了多个连接的问题（Java）(#25887).

新功能/改进

• Flink 运行器现在支持 Flink 1.16.x (#25046).
• 带模式的 PTransforms 现在可以像 PCollections 一样直接应用于 Beam 数据帧。（请注意，在执行多个操作时，明确链接操作（如 df | (Transform1 | Transform2 | ...)）可能会更有效，以避免过多的转换。）
• Go SDK 添加了新的转换 periodic.Impulse 和 periodic.Sequence，扩展了对缓慢更新的侧输入模式的支持。（#23106)
• Python SDK 依赖项链中的多个 Google 客户端库已更新至最新可用的主要版本。（#24599)

重大变更

• 如果主会话无法加载，管道现在将在工作器启动时失败。（#25401）。
• Python 管道选项现在将忽略以单个破折号开头的未解析的命令行标志。（#25943）。
• SmallestPerKey 组合器现在要求关键字参数来指定可选参数，例如 key 和 reverse。（#25888）。

弃用

• 作为对 Google Cloud Debugger 服务关闭的响应，Cloud Debugger 支持及其管道选项已弃用，将在下一个 Beam 版本中删除。（Java）(#25959).

错误修复

• STORAGE_WRITE_API 模式下的 BigQuery 接收器在批处理管道中可能会导致数据一致性问题，这些问题是在处理 Beam SDK 2.35.0-2.46.0（含）的其他无关瞬态错误期间发生的。有关更多详细信息，请参见：https://github.com/apache/beam/issues/26521

已知问题

• 对于 Beam SDK 2.45.0-2.47.0（含），使用 autoUpdateSchema 的 BigQueryIO Storage API 写入可能会导致数据损坏 (#26789)
• 长时间运行的 Python 管道可能会遇到内存泄漏：#28246.

贡献者列表

根据 git shortlog，以下人员为 2.47.0 版本做出了贡献。感谢所有贡献者！

Ahmed Abualsaud

Ahmet Altay

Alexey Romanenko

Amir Fayazi

Amrane Ait Zeouay

Anand Inguva

Andrew Pilloud

Andrey Kot

Bjorn Pedersen

Bruno Volpato

Buqian Zheng

Chamikara Jayalath

ChangyuLi28

Damon

Danny McCormick

Dmitry Repin

George Ma

Jack Dingilian

Jack McCluskey

Jasper Van den Bossche

Jeremy Edwards

Jiangjie (Becket) Qin

Johanna Öjeling

Juta Staes

Kenneth Knowles

Kyle Weaver

Mattie Fu

Moritz Mack

Nick Li

Oleh Borysevych

Pablo Estrada

Rebecca Szper

Reuven Lax

Reza Rokni

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Saadat Su

Saifuddin53

Sam Rohde

Shubham Krishna

Svetak Sundhar

Theodore Ni

Thomas Gaddy

Timur Sultanov

Udi Meiri

Valentyn Tymofieiev

Xinyu Liu

Yanan Hao

Yi Hu

Yuvi Panda

andres-vv

bochap

dannikay

darshan-sj

dependabot[bot]

harrisonlimh

hnnsgstfssn

jrmccluskey

liferoad

tvalentyn

xianhualiu

zhangskz