博客 & 发布

2020/06/08

Apache Beam 2.22.0

Brian Hulette [@BrianHulette]

我们很高兴推出 Beam 的新版本 2.22.0。此版本包含改进和新功能。请参阅 下载页面 获取此版本的下载链接。

有关 2.22.0 中更改的更多信息，请查看 详细的发布说明。

I/O

  • DataflowRunner 的基本 Kafka 读写支持（Python）（BEAM-8019）。
  • Google Healthcare API 的源和接收器（Java）（BEAM-9468）。

新功能/改进

  • Dataflow 流式管道支持 --workerCacheMB 标志（BEAM-9964)
  • FnApi 运行器支持 --direct_num_workers=0。它将把线程/子进程的数量设置为执行管道的机器的核心数（BEAM-9443）。
  • Python SDK 现在对 SqlTransform 提供实验性支持（BEAM-8603）。
  • 在 Stateful DoFn 中添加 OnWindowExpiration 方法（BEAM-1589）。
  • 添加了用于 Google Cloud DLP（数据丢失防护）服务集成的 PTransforms（BEAM-9723)
    • 数据检查，
    • 数据的去识别，
    • 数据的重新识别。
  • 在文档网站中添加更完整的 I/O 支持矩阵（BEAM-9916）。
  • 将 Sphinx 升级到 3.0.3 以构建 PyDoc。
  • 添加了用于使用 Google Cloud AI 图像处理服务的图像标注的 PTransform（BEAM-9646)

重大变更

  • Python SDK 现在需要在使用 --runner=PortableRunner 时设置 --job_endpoint（BEAM-9860）。寻求旧默认行为的用户应改为设置 --runner=FlinkRunner。

贡献者列表

根据 git shortlog，以下人员为 2.22.0 版本做出了贡献。感谢所有贡献者！

Ahmet Altay, aiyangar, Ajo Thomas, Akshay-Iyangar, Alan Pryor, Alexey Romanenko, Allen Pradeep Xavier, amaliujia, Andrew Pilloud, Ankur Goenka, Ashwin Ramaswami, bntnam, Borzoo Esmailloo, Boyuan Zhang, Brian Hulette, Chamikara Jayalath, Colm O hEigeartaigh, Craig Chambers, Damon Douglas, Daniel Oliveira, David Cavazos, David Moravek, Esun Kim, Etienne Chauchot, Filipe Regadas, Graeme Morgan, Hannah Jiang, Hannah-Jiang, Harch Vardhan, Heejong Lee, Henry Suryawirawan, Ismaël Mejía, Israel Herraiz, Jacob Ferriero, Jan Lukavský, John Mora, Kamil Wasilewski, Kenneth Jung, Kenneth Knowles, kevingg, Kyle Weaver, Kyoungha Min, Kyungwon Jo, Luke Cwik, Mark Liu, Matthias Baetens, Maximilian Michels, Michal Walenia, Mikhail Gryzykhin, Nam Bui, Niel Markwick, Ning Kang, Omar Ismail, omarismail94, Pablo Estrada, paul fisher, pawelpasterz, Pawel Pasterz, Piotr Szuberski, Rahul Patwari, rarokni, Rehman, Rehman Murad Ali, Reuven Lax, Robert Bradshaw, Robert Burke, Rui Wang, Ruoyun Huang, Sam Rohde, Sam Whittle, Sebastian Graca, Shoaib Zafar, Sruthi Sree Kumar, Stephen O’Kennedy, Steve Koonce, Steve Niemitz, Steven van Rossum, Tesio, Thomas Weise, tobiaslieber-cognitedata, Tomo Suzuki, Tudor Marian, tvalentyn, Tyson Hamilton, Udi Meiri, Valentyn Tymofieiev, Vasu Nori, xuelianhan, Yichi Zhang, Yifan Zou, yoshiki.obata, Yueyang Qiu, Zhuo Peng