我们很高兴推出 Beam 的新版本 2.49.0。此版本包含改进和新功能。请查看 下载页面 获取此版本的下载链接。

有关 2.49.0 中更改的更多信息，请查看 详细的发布说明。

I/O

• 在 Java 中添加了对 Bigtable 更改流的支持 BigtableIO.ReadChangeStream (#27183).
• 向 Python SDK 添加了 Bigtable 读取和写入跨语言转换 ((#26593), (#27146)).

新功能/改进

• 使用 --prebuild_sdk_container_engine=cloud_build 允许预构建大型镜像，例如依赖 tensorflow 或 torch 的镜像 (#27023).
• 在工作器上安装软件包时禁用 pip 缓存。这会减小预构建的 Python 容器镜像的大小 (#27035).
• 选择专用的 avro datum 阅读器和写入器 (Java) (#18874).
• Go SDK 的计时器 API (Go) (#22737).

弃用

• 移除 Python 3.7 支持。(#26447)

错误修复

• 修复了 KinesisIO NullPointerException，该异常在阅读器启动之前进行进度检查时发生 (IO) (#23868)

已知问题

• 长时间运行的 Python 管道可能会遇到内存泄漏：#28246。
• Python SDK 的跨语言 Bigtable 接收器错误处理没有显式时间戳的记录：#28632。为避免此问题，请在写入 Bigtable 之前为所有记录设置显式时间戳。
• 使用 --impersonate_service_account 选项和 BigQuery I/O 的 Python 管道可能会在 Dataflow 上失败 (#32030)。此问题已在 2.59.0 版本中修复。

贡献者列表

根据 git shortlog，以下人员贡献了 2.49.0 版本。感谢所有贡献者！

Abzal Tuganbay

AdalbertMemSQL

Ahmed Abualsaud

Ahmet Altay

Alan Zhang

Alexey Romanenko

Anand Inguva

Andrei Gurau

Arwin Tio

Bartosz Zablocki

Bruno Volpato

Burke Davison

Byron Ellis

Chamikara Jayalath

Charles Rothrock

Chris Gavin

Claire McGinty

Clay Johnson

Damon

Daniel Dopierała

Danny McCormick

Darkhan Nausharipov

David Cavazos

Dip Patel

Dmitry Repin

Gavin McDonald

Jack Dingilian

Jack McCluskey

James Fricker

Jan Lukavský

Jasper Van den Bossche

John Casey

John Gill

Joseph Crowley

Kanishk Karanawat

Katie Liu

Kenneth Knowles

Kyle Galloway

Liam Miller-Cushon

MakarkinSAkvelon

Masato Nakamura

Mattie Fu

Michel Davit

Naireen Hussain

Nathaniel Young

Nelson Osacky

Nick Li

Oleh Borysevych

Pablo Estrada

Reeba Qureshi

Reuven Lax

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Rouslan

Saadat Su

Sam Rohde

Sam Whittle

Sanil Jain

Shunping Huang

Smeet nagda

Svetak Sundhar

Timur Sultanov

Udi Meiri

Valentyn Tymofieiev

Vlado Djerek

WuA

XQ Hu

Xianhua Liu

Xinyu Liu

胡逸

Zachary Houfek

alexeyinkin

bigduu

bullet03

bzablocki

jonathan-lemos

jubebo

magicgoody

ruslan-ikhsan

sultanalieva-s

vitaly.terentyev