我们很高兴推出 Beam 的新版本 2.20.0。此版本包含改进和新功能。请参阅 下载页面 获取此版本。

有关 2.20.0 中更改的更多信息，请查看 详细的发布说明。

I/Os

Python SDK: . (#10223).

• BEAM-8561 通过 ThriftIO 添加对 Thrift 编码数据的支持
• BEAM-7310 KafkaIO 支持使用 Confluent Schema Registry 进行模式解析
• BEAM-7246 支持 Google Cloud Spanner。这是一个用于从 Google Cloud Spanner 读取和写入数据的实验模块
• BEAM-8399 添加对标准 HDFS URL（带有服务器名称）的支持

新功能/改进

• BEAM-9146 新的 AnnotateVideo 和 AnnotateVideoWithContext PTransform，它集成了 GCP Video Intelligence 功能
• BEAM-9247 新的 AnnotateImage 和 AnnotateImageWithContext PTransform，用于使用 Google Cloud Vision API 进行元素级和批处理图像标注
• BEAM-9258 添加了一个用于检查和脱敏文本的 PTransform，使用 Google Cloud DLP
• BEAM-9248 新的 AnnotateText PTransform，它集成了 Google Cloud Natural Language 功能
• BEAM-9305 ReadFromBigQuery 现在支持查询字符串的值提供程序
• BEAM-8841 添加了通过 Avro 文件加载写入 BigQuery 的功能
• BEAM-9228 FnApi 的直接运行器支持更高的并行度
• BEAM-8550 支持 Flink 和 Spark 中的 @RequiresTimeSortedInput
• BEAM-6857 添加了对动态计时器的支持

重大变更

• BEAM-3453 Python 中 ReadFromPubSub(topic=) 的向后不兼容更改
• BEAM-9310 Java 中的 SpannerAccessor 现在是包私有的，以减少 API 表面
• BEAM-8616 ParquetIO hadoop 依赖项现在应由用户提供
• BEAM-9063 Docker 镜像将从 2.20 部署到 apache/beam 存储库

错误修复

• BEAM-9579 修复了 ApproximateQuantiles 中的 numpy 运算符
• BEAM-9277 修复了在 IPython 笔记本中运行时发生的异常
• BEAM-1833 重构 Python 管道构建，以更好地遵循 Runner API
• BEAM-9225 修复了 Flink uberjar 作业终止错误
• BEAM-9503 修复了进程工作程序启动中的 SyntaxError
• 各种错误修复和性能改进。

已知问题

• BEAM-9322 Python SDK 忽略手动设置的 PCollection 标签
• BEAM-9445 Python SDK pre_optimize=all 实验可能会导致错误
• BEAM-9725 Python SDK 对重新洗牌转换的性能回归

贡献者列表

根据 git shortlog，以下人员为 2.20.0 版本做出了贡献。感谢所有贡献者！

Ahmet Altay, Alex Amato, Alexey Romanenko, Andrew Pilloud, Ankur Goenka, Anton Kedin, Boyuan Zhang, Brian Hulette, Brian Martin, Chamikara Jayalath , Charles Chen, Craig Chambers, Daniel Oliveira, David Moravek, David Rieber, Dustin Rhodes, Etienne Chauchot, Gleb Kanterov, Hai Lu, Heejong Lee , Ismaël Mejía, J Ross Thomson, Jan Lukavský, Jason Kuster, Jean-Baptiste Onofré, Jeff Klukas, João Cabrita, Juan Rael, Juta, Kasia Kucharczyk , Kengo Seki, Kenneth Jung, Kenneth Knowles, Kyle Weaver, Kyle Winkelman, Lukas Drbal, Marek Simunek, Mark Liu, Maximilian Michels, Melissa Pashniak , Michael Luckey, Michal Walenia, Mike Pedersen, Mikhail Gryzykhin, Niel Markwick, Pablo Estrada, Pascal Gula, Rehman Murad Ali, Reuven Lax, Rob, Robbe Sneyders , Robert Bradshaw, Robert Burke, Rui Wang, Ruoyun Huang, Ryan Williams, Sam Rohde, Sam Whittle, Scott Wegner, Shoaib Zafar, Thomas Weise, Tianyang Hu, Tyler Akidau , Udi Meiri, Valentyn Tymofieiev, Xinyu Liu, XuMingmin, ttanay, tvalentyn, Łukasz Gajowy