博客 & 发布

2019/08/22

Apache Beam 2.15.0

邹一凡

我们很高兴推出 Beam 的新版本 2.15.0。 此版本包含改进和新功能。 请查看 下载页面 以获取此版本。

有关 2.15.0 中更改的更多信息，请查看 详细的发布说明。

亮点

  • 将 Guava 供应商升级到 26.0 版本。
  • 支持在 FnApiRunner 上针对 Python 的多进程执行。 (BEAM-3645)

I/Os

  • 为 IndexedRecord 添加 AvroIO.sink（与 FileIO 兼容）。 (BEAM-6480)
  • 添加对写入 BigQuery 集群表的支持。 (BEAM-5191)

新功能/改进

  • 支持 SQL 中的 ParquetTable。 (BEAM-7728)
  • 为 Dataflow Runner 添加热键检测。 (BEAM-7820)
  • 支持 JDBC 接收器中的模式。 (BEAM-6675)
  • 将 GCS 节流时间报告给 Dataflow 自动扩展器以实现更好的自动扩展。 (BEAM-7667)
  • 在 Python SDK 中支持 --update 使用的 transform_name_mapping 选项。 (BEAM-7761)
  • 依赖项：将 Jackson databind 升级到 2.9.9.3 版本。 (BEAM-7880)

错误修复

  • 各种错误修复和性能改进。

已知问题

  • BEAM-7616 urlopen 调用可能卡住。（从 2.14.0 回归）
  • BEAM-8111 SchemaCoder 在 Dataflow 上失败，阻止使用 SqlTransform 和模式感知转换。（从 2.14.0 回归）
  • (BEAM-8368) 无法在 macOS 10.15 上安装 Python SDK。

重大更改

  • --region 标志将来将成为 Dataflow 的必需标志。 添加了警告以警告此未来的更改。 (BEAM-7833)

贡献者列表

根据 git shortlog，以下人员为 2.15.0 版本做出了贡献。 感谢所有贡献者！

Ahmet Altay, Alexey Romanenko, Alex Goos, Alireza Samadian, Andrew Pilloud, Ankur Goenka, Anton Kedin, Aryan Naraghi, Bartok Jozsef, bmv126, B M VISHWAS, Boyuan Zhang, Brian Hulette, brucearctor, Cade Markegard, Cam Mach, Chad Dombrova, Chaim Turkel, Chamikara Jayalath, Charith Ellawala, Claire McGinty, Craig Chambers, Daniel Oliveira, David Cavazos, David Moravek, Dominic Mitchell, Dustin Rhodes, Etienne Chauchot, Filipe Regadas, Gleb Kanterov, Gunnar Schulze, Hannah Jiang, Heejong Lee, Henry Suryawirawan, Ismaël Mejía, Ivo Galic, Jan Lukavský, Jawad, Juta, Juta Staes, Kai Jiang, Kamil Wasilewski, Kasia Kucharczyk, Kenneth Jung, Kenneth Knowles, Kyle Weaver, Lily Li, Logan HAUSPIE, lostluck, Łukasz Gajowy, Luke Cwik, Mark Liu, Matt Helm, Maximilian Michels, Michael Luckey, Mikhail Gryzykhin, Neville Li, Nicholas Rucci, pabloem, Pablo Estrada, Paul King, Paul Suganthan, Raheel Khan, Rakesh Kumar, Reza Rokni, Robert Bradshaw, Robert Burke, rosetn, Rui Wang, Ryan Skraba, RyanSkraba, Sahith Nallapareddy, Sam Rohde, Sam Whittle, Steve Niemitz, Tanay Tummalapalli, Thomas Weise, Tianyang Hu, ttanay, tvalentyn, Udi Meiri, Valentyn Tymofieiev, Wout Scheepers, yanzhi, Yekut, Yichi Zhang, 邹一凡, yoshiki.obata, Yueyang Qiu, Yunqing Zhou