博客 & 发布
2023/05/31
Apache Beam 2.48.0
我们很高兴推出 Beam 的新版本 2.48.0。此版本包括改进和新功能。请查看 下载页面,获取此版本。
有关 2.48.0 中更改的更多信息,请查看 详细发布说明。
注意:此版本的 Go SDK 的发布标签为 sdks/v2.48.2,而不是 sdks/v2.48.0,因为错误的提交附加到了发布标签 sdks/v2.48.0。
亮点
- “实验性”注释清理:注释和概念已从 Beam 中删除,以避免将代码误解为“未准备好”。任何建议的重大更改将根据具体情况进行权衡利弊决策(通常会避免),而不是使用“实验性”来允许它们。
I/Os
- 添加了 GCS 重命名和本地文件系统复制(Go)(#25779)。
- 添加了对 KinesisIO.Read(Java)中增强型扇出支持 (#19967)。
- 此更改与由 Beam 2.46.0 应用程序(具有 KinesisIO 源)创建的 Flink 保存点不兼容。
- 添加了 textio.ReadWithFilename 变换(Go)(#25812)。
- 添加了 fileio.MatchContinuously 变换(Go)(#26186)。
新功能/改进
- 允许传递 google-cloud-profiler 的服务名称(Python)(#26280)。
- 在 Python 中的 RunInference 中添加了死信队列支持 (#24209)。
- 添加了对在 RunInference 变换上定义预处理/后处理操作的支持 (#26308)
- 添加了一个基于 Docker Compose 的变换服务,可用于发现和使用可移植的 Beam 变换 (#26023)。
重大更改
- 现在在 Python SDK 中需要将标签传递到 MultiProcessShared (#26168)。
- 由于 Google Cloud Debugger 服务正在关闭,因此 Dataflow 运行器的 CloudDebuggerOptions 已删除(在 Beam v2.47.0 中已弃用)。(Java)(#25959)。
- AWS 2 客户端提供程序(在 Beam v2.38.0 中已弃用)最终已删除 (#26681)。
- AWS 2 SnsIO.writeAsync(在 Beam v2.37.0 中由于存在数据丢失风险而弃用)最终已删除 (#26710)。
- AWS 2 编码器(在添加对 AWS Sdk Pojo 的模式支持的 Beam v2.43.0 中已弃用)最终已删除 (#23315)。
错误修复
- 修复了由于长类路径和路径化 jar 文件,Java 引导程序出现“参数过长”错误。(Java)(#25582)。
已知问题
- 在批处理(有界)模式下使用时,PubsubIO 写入将为超过 100 字节的任何消息抛出SizeLimitExceededException。(Java)(#27000)。
- 长时间运行的 Python 管道可能会遇到内存泄漏:#28246。
贡献者列表
根据 git shortlog,以下人员为 2.48.0 版本做出了贡献。感谢所有贡献者!
Abzal Tuganbay
Ahmed Abualsaud
Alexey Romanenko
Anand Inguva
Andrei Gurau
Andrey Devyatkin
Balázs Németh
Bazyli Polednia
Bruno Volpato
Chamikara Jayalath
Clay Johnson
Damon
Daniel Arn
Danny McCormick
Darkhan Nausharipov
Dip Patel
Dmitry Repin
George Novitskiy
Israel Herraiz
Jack Dingilian
Jack McCluskey
Jan Lukavský
Jasper Van den Bossche
Jeff Zhang
Jeremy Edwards
Johanna Öjeling
John Casey
Katie Liu
Kenneth Knowles
Kerry Donny-Clark
Kuba Rauch
Liam Miller-Cushon
MakarkinSAkvelon
Mattie Fu
Michel Davit
Moritz Mack
Nick Li
Oleh Borysevych
Pablo Estrada
Pranav Bhandari
Pranjal Joshi
Rebecca Szper
Reuven Lax
Ritesh Ghorse
Robert Bradshaw
Robert Burke
Rouslan
RuiLong J
RyujiTamaki
Sam Whittle
Sanil Jain
Svetak Sundhar
Timur Sultanov
Tony Tang
Udi Meiri
Valentyn Tymofieiev
Vishal Bhise
Vitaly Terentyev
Xinyu Liu
Yi Hu
bullet03
darshan-sj
kellen
liferoad
mokamoka03210120
psolomin