我们很高兴推出 Beam 的新版本 2.30.0。此版本包含改进和新功能。请查看 下载页面 获取此版本的详细信息。

有关 2.30.0 中更改的更多信息，请查看 详细的发布说明。

重点内容

• 对于非 FnAPI 开源运行器，默认情况下使用 Legacy Read 变换（基于非 SDF 的 Read）。使用 use_sdf_read 实验性标志重新启用基于 SDF 的 Read 变换（BEAM-10670）
• 将 vendored gRPC 依赖项升级到 1.36.0（BEAM-11227）

I/Os

• 修复了 WriteToBigQuery 使用批处理文件加载时，在存在多个加载作业时不尊重模式更新选项的问题（BEAM-11277）
• 修复了在执行流式插入时，由于 BigQuery 接收器会吞噬 HttpErrors，导致作业无法正确重试的问题（BEAM-12362）

新功能/改进

• 在 Java 和 Python SDK 中添加了声明资源提示的功能（BEAM-2085）
• 在 Python SDK 中添加了 Spanner IO 性能测试，用于读写操作（BEAM-10029）
• 在 Python SDK 中添加了对访问 GCP PubSub 消息排序键、消息 ID 和消息发布时间戳的支持（BEAM-7819）
• DataFrame API：在交互式 Beam 中添加了对收集 DataFrame 对象的支持（BEAM-11855）
• DataFrame API：添加了 apache_beam.examples.dataframe 模块（BEAM-12024）
• 将 GCP 库 BOM 版本升级到 20.0.0（BEAM-11205）。有关此 BOM 设置的 Google Cloud 客户端库版本，请参见 此表格
• 添加了 sdkContainerImage 标志来（最终）替换 workerHarnessContainerImage（BEAM-12212）
• 添加了对使用模式时 Dataflow 更新的支持（BEAM-12198）
• 修复了 ZipFiles.zipDirectory 会泄漏本机 JVM 内存的问题（BEAM-12220）
• 修复了 Reshuffle.withNumBuckets 会创建 (N*2)-1 个桶的问题（BEAM-12361）

重大更改

• 放弃对 Flink 1.8 和 1.9 的支持（BEAM-11948）
• MongoDbIO：Read.withFilter() 和 Read.withProjection() 已被移除，因为它们自 Beam 2.12.0 以来已弃用（BEAM-12217）
• RedisIO.readAll() 已被移除，因为它自 Beam 2.13.0 以来已弃用。请使用 RedisIO.readKeyPatterns() 来获得等效的功能（BEAM-12214）
• MqttIO.create() 使用 clientId 构造函数已移除，因为它自 Beam 2.13.0 以来已弃用（BEAM-12216）

已知问题

• 查看影响此版本的完整 开放问题列表。

贡献者列表

根据 git shortlog，以下人员贡献了 2.30.0 版本。感谢所有贡献者！

Ahmet Altay, Alex Amato, Alexey Romanenko, Anant Damle, Andreas Bergmeier, Andrew Pilloud, Ankur Goenka, Anup D, Artur Khanin, Benjamin Gonzalez, Bipin Upadhyaya, Boyuan Zhang, Brian Hulette, Bulat Shakirzyanov, Chamikara Jayalath, Chun Yang, Daniel Kulp, Daniel Oliveira, David Cavazos, Elliotte Rusty Harold, Emily Ye, Eric Roshan-Eisner, Evan Galpin, Fabien Caylus, Fernando Morales, Heejong Lee, Iñigo San Jose Visiers, Isidro Martínez, Ismaël Mejía, Ke Wu, Kenneth Knowles, KevinGG, Kyle Weaver, Ludovic Post, MATTHEW Ouyang (LCL), Mackenzie Clark, Masato Nakamura, Matthias Baetens, Max, Nicholas Azar, Ning Kang, Pablo Estrada, Patrick McCaffrey, Quentin Sommer, Reuven Lax, Robert Bradshaw, Robert Burke, Rui Wang, Sam Rohde, Sam Whittle, Shoaib Zafar, Siyuan Chen, Sruthi Sree Kumar, Steve Niemitz, Sylvain Veyrié, Tomo Suzuki, Udi Meiri, Valentyn Tymofieiev, Vitaly Terentyev, Wenbing, Xinyu Liu, Yichi Zhang, Yifan Mai, Yueyang Qiu, Yunqing Zhou, ajo thomas, brucearctor, dmkozh, dpcollins-google, emily, jordan-moore, kileys, lostluck, masahitojp, roger-mike, sychen, tvalentyn, vachan-shetty, yoshiki.obata