博客和发布
2023/01/17
Apache Beam 2.44.0
我们很高兴推出 Beam 的最新版本 2.44.0。此版本包括改进和新功能。请查看下载页面,获取此版本的下载内容。
有关 2.44.0 中更改的更多信息,请查看详细发布说明。
I/O
- 添加了对 Bigtable Sink(写入和写入批次)的支持(Go)(#23324).
- Beam 文件系统的 S3 实现(Go)(#23991).
- 添加了对 SingleStoreDB 源和 Sink 的支持(Java)(#22617).
- 在 Azure 文件系统中添加了对 DefaultAzureCredential 身份验证的支持(Python)(#24210).
- 添加了新的 CdapIO,用于 CDAP 批处理和流式源/Sink(Java)(#24961).
- 添加了新的 SparkReceiverIO,用于 Spark Receiver 2.4.*(Java)(#24960).
新功能/改进
- Beam 现在提供了一个可移植的“运行器”,可以利用 graphviz 渲染管道图形。有关更多详细信息,请参见
python -m apache_beam.runners.render --help
。 - 本地包现在可以作为 requirements.txt 文件中的依赖项使用,而无需通过
--extra_package
选项单独传递它们(Python)(#23684). - 管道资源提示现在通过
--resource_hints
标志支持(Go)(#23990). - 通过将依赖项安装到临时 venv 中,使 Python SDK 容器在可移植运行器上可重用 (BEAM-12792).
- RunInference 模型处理程序现在支持在 Python 中指定自定义推理函数 (#22572)
- Go SDK 中添加了对
map_windows
urn 的支持 (#24307).
重大更改
ParquetIO.withSplit
已被删除,因为自 2.35.0 版本以来,可拆分读取已成为默认行为。此更改的效果是放弃对不可拆分读取的支持(Java)(#23832).beam-sdks-java-extensions-google-cloud-platform-core
不再是 Java SDK Harness 的依赖项。某些可移植运行器(例如 Dataflow Runner v2)的用户可能对该包存在未声明的依赖关系(例如使用带有 TextIO 的 GCS),现在需要声明该依赖关系。beam-sdks-java-core
不再是 Java SDK Harness 的依赖项。可移植运行器(例如 Dataflow Runner v2)的用户需要提供该包及其依赖项。- 切片现在使用 Beam Iterable Coder。这支持跨语言使用,但在将 Slice 类型用作 PCollection 元素或 State API 元素时,会破坏管道更新。(Go)#24339
错误修复
- 修复了 JmsIO 确认问题(Java)(#20814)
- 修复了 Beam SQL CalciteUtils(Java)和跨语言 JdbcIO(Python)不支持 JDBC CHAR/VARCHAR、BINARY/VARBINARY 逻辑类型 (#23747、#23526).
- 确保使用通用注册包迭代和发出的类型已在类型和模式注册表中注册。(Go) (#23889)
贡献者列表
根据 git shortlog,以下人员为 2.44.0 版本做出了贡献。感谢所有贡献者!
Ahmed Abualsaud
Ahmet Altay
Alex Merose
Alexey Inkin
Alexey Romanenko
Anand Inguva
Andrei Gurau
Andrej Galad
Andrew Pilloud
Ayush Sharma
Benjamin Gonzalez
Bjorn Pedersen
Brian Hulette
Bruno Volpato
Bulat Safiullin
Chamikara Jayalath
Chris Gavin
Damon Douglas
Danielle Syse
Danny McCormick
Darkhan Nausharipov
David Cavazos
Dmitry Repin
Doug Judd
Elias Segundo Antonio
Evan Galpin
Evgeny Antyshev
Heejong Lee
Henrik Heggelund-Berg
Israel Herraiz
Jack McCluskey
Jan Lukavský
Janek Bevendorff
Johanna Öjeling
John J. Casey
Jozef Vilcek
Kanishk Karanawat
Kenneth Knowles
Kiley Sok
Laksh
Liam Miller-Cushon
Luke Cwik
MakarkinSAkvelon
Minbo Bae
Moritz Mack
Nancy Xu
Ning Kang
Nivaldo Tokuda
Oleh Borysevych
Pablo Estrada
Philippe Moussalli
Pranav Bhandari
Rebecca Szper
Reuven Lax
Rick Smit
Ritesh Ghorse
Robert Bradshaw
Robert Burke
Ryan Thompson
Sam Whittle
Sanil Jain
Scott Strong
Shubham Krishna
Steven van Rossum
Svetak Sundhar
Thiago Nunes
Tianyang Hu
Trevor Gevers
Valentyn Tymofieiev
Vitaly Terentyev
Vladislav Chunikhin
Xinyu Liu
Yi Hu
Yichi Zhang
AdalbertMemSQL
agvdndor
andremissaglia
arne-alex
bullet03
camphillips22
capthiron
creste
fab-jul
illoise
kn1kn1
nancyxu123
peridotml
shinannegans
smeet07