Apache Beam 2.45.0

我们很高兴推出 Beam 的新版本 2.45.0。此版本包含改进和新功能。请查看 下载页面 以获取此版本。

有关 2.45.0 中更改的更多信息,请查看 详细的发布说明

I/Os

  • 添加了 MongoDB IO 连接器(Go)(#24575)。

新功能/改进

  • 在 Go SDK 中添加了带有 Sklearn 模型处理程序支持的 RunInference 包装器(#24497)。
  • 添加了允许的 TLS 算法的覆盖(Java),现在保留了在 2.43.0 中存在的禁用/旧版算法(对于各个 Java 版本分别最多为 1.8.0_342、11.0.16、17.0.2)。这伴随着对 Java 8 和 Java 11 中的 TLSv1 和 TLSv1.1 的显式重新启用。
  • 为 Samza 可移植模式添加 UDF 指标支持。

重大更改

  • Dataflow 上的可移植 Java 管道、Go 管道、Python 流式管道和可移植 Python 批处理管道需要使用 Runner V2。disable_runner_v2disable_runner_v2_until_2023disable_prime_runner_v2 实验将在管道构建期间引发错误。您不能再指定 Dataflow 工作程序 jar 覆盖。请注意,非可移植 Java 作业和非可移植 Python 批处理作业不受影响。(#24515)。

错误修复

  • 避免在用户定义的查询中没有 where 子句时出现 Cassandra 语法错误(Java)(#24829)。
  • 修复了由于 JDK 的过时 TLSv1(.1)协议导致握手期间的 JDBC 连接故障(Java)。(#24623
  • 修复了当 deposition 设置为 WRITE_TRUNCATE 且传入数据量很大时,Python BigQuery 批处理加载写入可能会截断有效数据(Python)(#24623)。
  • 修复了在许多分区上使用稀疏数据时 Kafka 水印问题(#24205

贡献者列表

根据 git shortlog,以下人员为 2.45.0 版本做出了贡献。感谢所有贡献者!

AdalbertMemSQL

Ahmed Abualsaud

Ahmet Altay

Alexey Romanenko

Anand Inguva

Andrea Nardelli

Andrei Gurau

Andrew Pilloud

Benjamin Gonzalez

BjornPrime

Brian Hulette

Bulat

Byron Ellis

Chamikara Jayalath

Charles Rothrock

Damon

Daniela Martín

Danny McCormick

Darkhan Nausharipov

Dejan Spasic

Diego Gomez

Dmitry Repin

Doug Judd

Elias Segundo Antonio

Evan Galpin

Evgeny Antyshev

Fernando Morales

Jack McCluskey

Johanna Öjeling

John Casey

Junhao Liu

Kanishk Karanawat

Kenneth Knowles

Kiley Sok

Liam Miller-Cushon

Lucas Marques

Luke Cwik

MakarkinSAkvelon

Marco Robles

Mark Zitnik

Melanie

Moritz Mack

Ning Kang

Oleh Borysevych

Pablo Estrada

Philippe Moussalli

Piyush Sagar

Rebecca Szper

Reuven Lax

Rick Viscomi

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Sam Whittle

Sergei Lilichenko

Seung Jin An

Shane Hansen

Sho Nakatani

Shunya Ueta

Siddharth Agrawal

Timur Sultanov

Veronica Wasson

Vitaly Terentyev

Xinbin Huang

Xinyu Liu

Xinyue Zhang

Yi Hu

ZhengLin Li

alexeyinkin

andoni-guzman

andthezhang

bullet03

camphillips22

gabihodoroaga

harrisonlimh

pablo rodriguez defino

ruslan-ikhsan

tvalentyn

yyy1000

zhengbuqian