我们很高兴推出 Beam 的新版本 2.17.0。此版本包含改进和新功能。使用 MongoDbIO 连接器的用户建议升级到此版本以解决安全漏洞。

请参阅下载页面以获取此版本的下载链接。

有关 2.17.0 中更改的更多信息，请查看详细的发布说明。

亮点

• BEAM-7962 - 移除对 Flink 1.5 和 1.6 的支持
• BEAM-7635 - 将 SnsIO 迁移到 AWS SDK for Java 2
• 改进了可移植 Flink 运行器的可用性
  • BEAM-8183 - 可选择将多个管道捆绑到单个 Flink jar 中。
  • BEAM-8372 - 允许将 Flink UberJar 直接提交到 Flink 集群。
  • BEAM-8471 - 可移植管道的 Flink 原生作业提交。
  • BEAM-8312 - Flink 可移植管道 jar 不需要远程暂存工件。

新功能 / 改进

• BEAM-7730 - 添加 Flink 1.9 构建目标，并使 FlinkRunner 与 Flink 1.9 兼容。
• BEAM-7990 - 添加将 parquet 文件读取到 PCollection of pyarrow.Table 的功能。
• BEAM-8355 - 使 BooleanCoder 成为标准编码器。
• BEAM-8394 - 在 JdbcIO.ReadRows 类中添加 withDataSourceConfiguration() 方法。
• BEAM-5428 - 实现跨捆绑状态缓存。
• BEAM-5967 - 添加对 ProtoCoder 中的 DynamicMessage 的处理。
• BEAM-7473 - 更新 Python 中的 RestrictionTracker，使其不再需要线程安全。
• BEAM-7920 - 将 AvroTableProvider 添加到 Beam SQL。
• BEAM-8098 - 改进 BigQueryIO 的文档。
• BEAM-8100 - 在 Java SDK 中添加对 Json 转换的异常处理。
• BEAM-8306 - 改进从 ElasticsearchIO 中读取数据字节大小的估计。
• BEAM-8351 - 支持通过外部环境配置将任意 KV 对传递到 sdk 工作器。
• BEAM-8396 - 默认情况下，本地 flink（spark，...）运行器使用 LOOPBACK 模式。
• BEAM-8410 - JdbcIO 应该支持在它的 DataSource 中设置 ConnectionInitSqls。
• BEAM-8609 - 将 HllCount 添加到 Java 转换目录。
• BEAM-8861 - 默认情况下，在 ElasticsearchIO 中禁止自签名证书。

依赖关系更改

• BEAM-8285 - 将 ZetaSQL 升级到 2019.09.1。
• BEAM-8392 - 升级 pyarrow 版本范围：0.15.1<= 到 <0.16.0。
• BEAM-5895 - 将 com.rabbitmq:amqp-client 升级到 5.7.3。
• BEAM-6896 - 升级 PyYAML 版本范围：3.12<= 到 <6.0.0。

错误修复

• [BEAM-8819] - 自 2.13.0 版本以来，针对 SpecificRecords 的 AvroCoder 序列化不正确
• 各种错误修复和性能改进。

已知问题

• BEAM-8989 Apache Nemo 运行器由于自 2.16.0 版本以来的向后不兼容更改而出现故障。

贡献者列表

根据 git shortlog，以下人员对 2.17.0 版本做出了贡献。感谢所有贡献者！

Ahmet Altay, Alan Myrvold, Alexey Romanenko, Andre-Philippe Paquet, Andrew Pilloud, angulartist, Ankit Jhalaria, Ankur Goenka, Anton Kedin, Aryan Naraghi, Aurélien Geron, B M VISHWAS, Bartok Jozsef, Boyuan Zhang, Brian Hulette, Cerny Ondrej, Chad Dombrova, Chamikara Jayalath, ChethanU, cmach, Colm O hEigeartaigh, Cyrus Maden, Daniel Oliveira, Daniel Robert, Dante, David Cavazos, David Moravek, David Yan, Enrico Canzonieri, Etienne Chauchot, gxercavins, Hai Lu, Hannah Jiang, Ian Lance Taylor, Ismaël Mejía, Israel Herraiz, James Wen, Jan Lukavský, Jean-Baptiste Onofré, Jeff Klukas, jesusrv1103, Jofre, Kai Jiang, Kamil Wasilewski, Kasia Kucharczyk, Kenneth Knowles, Kirill Kozlov, kirillkozlov, Kohki YAMAGIWA, Kyle Weaver, Leonardo Alves Miguel, lloigor, lostluck, Luis Enrique Ortíz Ramirez, Luke Cwik, Mark Liu, Maximilian Michels, Michal Walenia, Mikhail Gryzykhin, mrociorg, Nicolas Delsaux, Ning Kang, NING KANG, Pablo Estrada, pabloem, Piotr Szczepanik, rahul8383, Rakesh Kumar, Renat Nasyrov, Reuven Lax, Robert Bradshaw, Robert Burke, Rui Wang, Ruslan Altynnikov, Ryan Skraba, Salman Raza, Saul Chavez, Sebastian Jambor, sunjincheng121, Tatu Saloranta, tchiarato, Thomas Weise, Tomo Suzuki, Tudor Marian, tvalentyn, Udi Meiri, Valentyn Tymofieiev, Viola Lyu, Vishwas, Yichi Zhang, Yifan Zou, Yueyang Qiu, Łukasz Gajowy