Apache Beam 2.44.0

我们很高兴推出 Beam 的最新版本 2.44.0。此版本包括改进和新功能。请查看下载页面,获取此版本的下载内容。

有关 2.44.0 中更改的更多信息,请查看详细发布说明

I/O

  • 添加了对 Bigtable Sink(写入和写入批次)的支持(Go)(#23324).
  • Beam 文件系统的 S3 实现(Go)(#23991).
  • 添加了对 SingleStoreDB 源和 Sink 的支持(Java)(#22617).
  • 在 Azure 文件系统中添加了对 DefaultAzureCredential 身份验证的支持(Python)(#24210).
  • 添加了新的 CdapIO,用于 CDAP 批处理和流式源/Sink(Java)(#24961).
  • 添加了新的 SparkReceiverIO,用于 Spark Receiver 2.4.*(Java)(#24960).

新功能/改进

  • Beam 现在提供了一个可移植的“运行器”,可以利用 graphviz 渲染管道图形。有关更多详细信息,请参见 python -m apache_beam.runners.render --help
  • 本地包现在可以作为 requirements.txt 文件中的依赖项使用,而无需通过 --extra_package 选项单独传递它们(Python)(#23684).
  • 管道资源提示现在通过 --resource_hints 标志支持(Go)(#23990).
  • 通过将依赖项安装到临时 venv 中,使 Python SDK 容器在可移植运行器上可重用 (BEAM-12792).
  • RunInference 模型处理程序现在支持在 Python 中指定自定义推理函数 (#22572)
  • Go SDK 中添加了对 map_windows urn 的支持 (#24307).

重大更改

  • ParquetIO.withSplit 已被删除,因为自 2.35.0 版本以来,可拆分读取已成为默认行为。此更改的效果是放弃对不可拆分读取的支持(Java)(#23832).
  • beam-sdks-java-extensions-google-cloud-platform-core 不再是 Java SDK Harness 的依赖项。某些可移植运行器(例如 Dataflow Runner v2)的用户可能对该包存在未声明的依赖关系(例如使用带有 TextIO 的 GCS),现在需要声明该依赖关系。
  • beam-sdks-java-core 不再是 Java SDK Harness 的依赖项。可移植运行器(例如 Dataflow Runner v2)的用户需要提供该包及其依赖项。
  • 切片现在使用 Beam Iterable Coder。这支持跨语言使用,但在将 Slice 类型用作 PCollection 元素或 State API 元素时,会破坏管道更新。(Go)#24339

错误修复

  • 修复了 JmsIO 确认问题(Java)(#20814)
  • 修复了 Beam SQL CalciteUtils(Java)和跨语言 JdbcIO(Python)不支持 JDBC CHAR/VARCHAR、BINARY/VARBINARY 逻辑类型 (#23747#23526).
  • 确保使用通用注册包迭代和发出的类型已在类型和模式注册表中注册。(Go) (#23889)

贡献者列表

根据 git shortlog,以下人员为 2.44.0 版本做出了贡献。感谢所有贡献者!

Ahmed Abualsaud

Ahmet Altay

Alex Merose

Alexey Inkin

Alexey Romanenko

Anand Inguva

Andrei Gurau

Andrej Galad

Andrew Pilloud

Ayush Sharma

Benjamin Gonzalez

Bjorn Pedersen

Brian Hulette

Bruno Volpato

Bulat Safiullin

Chamikara Jayalath

Chris Gavin

Damon Douglas

Danielle Syse

Danny McCormick

Darkhan Nausharipov

David Cavazos

Dmitry Repin

Doug Judd

Elias Segundo Antonio

Evan Galpin

Evgeny Antyshev

Heejong Lee

Henrik Heggelund-Berg

Israel Herraiz

Jack McCluskey

Jan Lukavský

Janek Bevendorff

Johanna Öjeling

John J. Casey

Jozef Vilcek

Kanishk Karanawat

Kenneth Knowles

Kiley Sok

Laksh

Liam Miller-Cushon

Luke Cwik

MakarkinSAkvelon

Minbo Bae

Moritz Mack

Nancy Xu

Ning Kang

Nivaldo Tokuda

Oleh Borysevych

Pablo Estrada

Philippe Moussalli

Pranav Bhandari

Rebecca Szper

Reuven Lax

Rick Smit

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Ryan Thompson

Sam Whittle

Sanil Jain

Scott Strong

Shubham Krishna

Steven van Rossum

Svetak Sundhar

Thiago Nunes

Tianyang Hu

Trevor Gevers

Valentyn Tymofieiev

Vitaly Terentyev

Vladislav Chunikhin

Xinyu Liu

Yi Hu

Yichi Zhang

AdalbertMemSQL

agvdndor

andremissaglia

arne-alex

bullet03

camphillips22

capthiron

creste

fab-jul

illoise

kn1kn1

nancyxu123

peridotml

shinannegans

smeet07