我们很高兴推出 Beam 的新版本 2.11.0。此版本包含改进和新功能。请查看 下载页面 以获取此版本。

有关 2.11.0 中更改的更多信息，请查看 详细的发布说明。

亮点

依赖项升级/更改

• Java: antlr: 4.7
• Java: antlr_runtime: 4.7
• Java: bigdataoss_gcsio: 1.9.16
• Java: bigdataoss_util: 1.9.16
• Java: bigtable_client_core: 1.8.0
• Java: cassandra-driver-core: 3.6.0
• Java: cassandra-driver-mapping: 3.6.0
• Java: commons-compress: 1.18
• Java: gax_grpc: 1.38.0
• Java: google_api_common: 1.7.0
• Java: google_api_services_dataflow: v1b3-rev20190126-1.27.0
• Java: google_cloud_bigquery_storage: 0.79.0-alpha
• Java: google_cloud_bigquery_storage_proto: 0.44.0
• Java: google_auth_library_credentials: 0.12.0
• Java: google_auth_library_oauth2_http: 0.12.0
• Java: google_cloud_core: 1.61.0
• Java: google_cloud_core_grpc: 1.61.0
• Java: google_cloud_spanner: 1.6.0
• Java: grpc_all: 1.17.1
• Java: grpc_auth: 1.17.1
• Java: grpc_core: 1.17.1
• Java: grpc_google_cloud_pubsub_v1: 1.17.1
• Java: grpc_protobuf: 1.17.1
• Java: grpc_protobuf_lite: 1.17.1
• Java: grpc_netty: 1.17.1
• Java: grpc_stub: 1.17.1
• Java: netty_handler: 4.1.30.Final
• Java: netty_tcnative_boringssl_static: 2.0.17.Final
• Java: netty_transport_native_epoll: 4.1.30.Final
• Java: proto_google_cloud_spanner_admin_database_v1: 1.6.0
• Java: zstd_jni: 1.3.8-3
• Python: futures>=3.2.0,<4.0.0; python_version < “3.0”
• Python: pyvcf>=0.6.8,<0.7.0; python_version < “3.0”
• Python: google-apitools>=0.5.26,<0.5.27
• Python: google-cloud-core==0.28.1
• Python: google-cloud-bigtable==0.31.1

I/O

• 支持用于运行跨语言转换的便携式 Flink 运行器。
• 向 GCS 复制添加 Cloud KMS 支持。
• 在 KafkaIO.read() 中添加 offsetConsumer 的参数。
• 允许在 ParquetIO 写入中设置压缩编解码器。
• 将 kms_key 添加到 BigQuery 转换，传递到 Dataflow。

新功能/改进

• DirectRunner 和 DataflowRunner 的 Python 3（实验性）支持。
• 为 Java SDK 添加 ZStandard 压缩支持。
• Python: 添加 CombineFn.compact，类似于 Java。
• SparkRunner: 为非合并窗口优化的 GroupByKey。
• SparkRunner: 添加 bundleSize 参数以控制 Spark 数据源的分片。
• FlinkRunner: 便携式运行器保存点/升级支持。

错误修复

• 各种错误修复和性能改进。

弃用

• 弃用 MongoDb withKeepAlive，因为它在 Mongo 驱动程序中已弃用。

贡献者列表

根据 git shortlog，以下人员为 2.11.0 版本做出了贡献。感谢所有贡献者！

Ahmet Altay, Alex Amato, Alexey Romanenko, Andrew Pilloud, Ankur Goenka, Anton Kedin, Boyuan Zhang, Brian Hulette, Brian Martin, Chamikara Jayalath, Charles Chen, Craig Chambers, Daniel Oliveira, David Moravek, David Rieber, Dustin Rhodes, Etienne Chauchot, Gleb Kanterov, Hai Lu, Heejong Lee, Ismaël Mejía, J Ross Thomson, Jan Lukavsky, Jason Kuster, Jean-Baptiste Onofré, Jeff Klukas, João Cabrita, Juan Rael, Juta Staes, Kasia Kucharczyk, Kengo Seki, Kenneth Jung, Kenneth Knowles, Kyle Weaver, Kyle Winkelman, Lukas Drbal, Marek Simunek, Mark Liu, Maximilian Michels, Melissa Pashniak, Michael Luckey, Michal Walenia, Mike Pedersen, Mikhail Gryzykhin, Niel Markwick, Pablo Estrada, Pascal Gula, Reuven Lax, Robbe Sneyders, Robert Bradshaw, Robert Burke, Rui Wang, Ruoyun Huang, Ryan Williams, Sam Rohde, Sam Whittle, Scott Wegner, Tanay Tummalapalli, Thomas Weise, Tianyang Hu, Tyler Akidau, Udi Meiri, Valentyn Tymofieiev, Xinyu Liu, Xu Mingmin, Łukasz Gajowy.