Apache Beam 2.48.0

我们很高兴推出 Beam 的新版本 2.48.0。此版本包括改进和新功能。请查看 下载页面,获取此版本。

有关 2.48.0 中更改的更多信息,请查看 详细发布说明

注意:此版本的 Go SDK 的发布标签为 sdks/v2.48.2,而不是 sdks/v2.48.0,因为错误的提交附加到了发布标签 sdks/v2.48.0。

亮点

  • “实验性”注释清理:注释和概念已从 Beam 中删除,以避免将代码误解为“未准备好”。任何建议的重大更改将根据具体情况进行权衡利弊决策(通常会避免),而不是使用“实验性”来允许它们。

I/Os

  • 添加了 GCS 重命名和本地文件系统复制(Go)(#25779)。
  • 添加了对 KinesisIO.Read(Java)中增强型扇出支持 (#19967)。
    • 此更改与由 Beam 2.46.0 应用程序(具有 KinesisIO 源)创建的 Flink 保存点不兼容。
  • 添加了 textio.ReadWithFilename 变换(Go)(#25812)。
  • 添加了 fileio.MatchContinuously 变换(Go)(#26186)。

新功能/改进

  • 允许传递 google-cloud-profiler 的服务名称(Python)(#26280)。
  • 在 Python 中的 RunInference 中添加了死信队列支持 (#24209)。
  • 添加了对在 RunInference 变换上定义预处理/后处理操作的支持 (#26308)
  • 添加了一个基于 Docker Compose 的变换服务,可用于发现和使用可移植的 Beam 变换 (#26023)。

重大更改

  • 现在在 Python SDK 中需要将标签传递到 MultiProcessShared (#26168)。
  • 由于 Google Cloud Debugger 服务正在关闭,因此 Dataflow 运行器的 CloudDebuggerOptions 已删除(在 Beam v2.47.0 中已弃用)。(Java)(#25959)。
  • AWS 2 客户端提供程序(在 Beam v2.38.0 中已弃用)最终已删除 (#26681)。
  • AWS 2 SnsIO.writeAsync(在 Beam v2.37.0 中由于存在数据丢失风险而弃用)最终已删除 (#26710)。
  • AWS 2 编码器(在添加对 AWS Sdk Pojo 的模式支持的 Beam v2.43.0 中已弃用)最终已删除 (#23315)。

错误修复

  • 修复了由于长类路径和路径化 jar 文件,Java 引导程序出现“参数过长”错误。(Java)(#25582)。

已知问题

  • 在批处理(有界)模式下使用时,PubsubIO 写入将为超过 100 字节的任何消息抛出SizeLimitExceededException。(Java)(#27000)。
  • 长时间运行的 Python 管道可能会遇到内存泄漏:#28246

贡献者列表

根据 git shortlog,以下人员为 2.48.0 版本做出了贡献。感谢所有贡献者!

Abzal Tuganbay

Ahmed Abualsaud

Alexey Romanenko

Anand Inguva

Andrei Gurau

Andrey Devyatkin

Balázs Németh

Bazyli Polednia

Bruno Volpato

Chamikara Jayalath

Clay Johnson

Damon

Daniel Arn

Danny McCormick

Darkhan Nausharipov

Dip Patel

Dmitry Repin

George Novitskiy

Israel Herraiz

Jack Dingilian

Jack McCluskey

Jan Lukavský

Jasper Van den Bossche

Jeff Zhang

Jeremy Edwards

Johanna Öjeling

John Casey

Katie Liu

Kenneth Knowles

Kerry Donny-Clark

Kuba Rauch

Liam Miller-Cushon

MakarkinSAkvelon

Mattie Fu

Michel Davit

Moritz Mack

Nick Li

Oleh Borysevych

Pablo Estrada

Pranav Bhandari

Pranjal Joshi

Rebecca Szper

Reuven Lax

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Rouslan

RuiLong J

RyujiTamaki

Sam Whittle

Sanil Jain

Svetak Sundhar

Timur Sultanov

Tony Tang

Udi Meiri

Valentyn Tymofieiev

Vishal Bhise

Vitaly Terentyev

Xinyu Liu

Yi Hu

bullet03

darshan-sj

kellen

liferoad

mokamoka03210120

psolomin