博客 & 发布
2023/02/15
Apache Beam 2.45.0
我们很高兴推出 Beam 的新版本 2.45.0。此版本包含改进和新功能。请查看 下载页面 以获取此版本。
有关 2.45.0 中更改的更多信息,请查看 详细的发布说明。
I/Os
- 添加了 MongoDB IO 连接器(Go)(#24575)。
新功能/改进
- 在 Go SDK 中添加了带有 Sklearn 模型处理程序支持的 RunInference 包装器(#24497)。
- 添加了允许的 TLS 算法的覆盖(Java),现在保留了在 2.43.0 中存在的禁用/旧版算法(对于各个 Java 版本分别最多为 1.8.0_342、11.0.16、17.0.2)。这伴随着对 Java 8 和 Java 11 中的 TLSv1 和 TLSv1.1 的显式重新启用。
- 为 Samza 可移植模式添加 UDF 指标支持。
重大更改
- Dataflow 上的可移植 Java 管道、Go 管道、Python 流式管道和可移植 Python 批处理管道需要使用 Runner V2。
disable_runner_v2
、disable_runner_v2_until_2023
、disable_prime_runner_v2
实验将在管道构建期间引发错误。您不能再指定 Dataflow 工作程序 jar 覆盖。请注意,非可移植 Java 作业和非可移植 Python 批处理作业不受影响。(#24515)。
错误修复
- 避免在用户定义的查询中没有 where 子句时出现 Cassandra 语法错误(Java)(#24829)。
- 修复了由于 JDK 的过时 TLSv1(.1)协议导致握手期间的 JDBC 连接故障(Java)。(#24623)
- 修复了当 deposition 设置为 WRITE_TRUNCATE 且传入数据量很大时,Python BigQuery 批处理加载写入可能会截断有效数据(Python)(#24623)。
- 修复了在许多分区上使用稀疏数据时 Kafka 水印问题(#24205)
贡献者列表
根据 git shortlog,以下人员为 2.45.0 版本做出了贡献。感谢所有贡献者!
AdalbertMemSQL
Ahmed Abualsaud
Ahmet Altay
Alexey Romanenko
Anand Inguva
Andrea Nardelli
Andrei Gurau
Andrew Pilloud
Benjamin Gonzalez
BjornPrime
Brian Hulette
Bulat
Byron Ellis
Chamikara Jayalath
Charles Rothrock
Damon
Daniela Martín
Danny McCormick
Darkhan Nausharipov
Dejan Spasic
Diego Gomez
Dmitry Repin
Doug Judd
Elias Segundo Antonio
Evan Galpin
Evgeny Antyshev
Fernando Morales
Jack McCluskey
Johanna Öjeling
John Casey
Junhao Liu
Kanishk Karanawat
Kenneth Knowles
Kiley Sok
Liam Miller-Cushon
Lucas Marques
Luke Cwik
MakarkinSAkvelon
Marco Robles
Mark Zitnik
Melanie
Moritz Mack
Ning Kang
Oleh Borysevych
Pablo Estrada
Philippe Moussalli
Piyush Sagar
Rebecca Szper
Reuven Lax
Rick Viscomi
Ritesh Ghorse
Robert Bradshaw
Robert Burke
Sam Whittle
Sergei Lilichenko
Seung Jin An
Shane Hansen
Sho Nakatani
Shunya Ueta
Siddharth Agrawal
Timur Sultanov
Veronica Wasson
Vitaly Terentyev
Xinbin Huang
Xinyu Liu
Xinyue Zhang
Yi Hu
ZhengLin Li
alexeyinkin
andoni-guzman
andthezhang
bullet03
camphillips22
gabihodoroaga
harrisonlimh
pablo rodriguez defino
ruslan-ikhsan
tvalentyn
yyy1000
zhengbuqian