博客和发布
2021/01/07
Apache Beam 2.27.0
我们很高兴推出 Apache Beam 的新版本 2.27.0。此版本包含改进和新功能。有关此版本的下载页面,请参见 下载页面。有关 2.27.0 中更改的更多信息,请查看 详细发布说明.
亮点
- 所有 Beam 版本现在都发布了 Java 11 容器。
- 有一个新的转换
ReadAllFromBigQuery
,它可以在管道运行时接收多个请求以从 BigQuery 读取数据。请参见 PR 13170 和 BEAM-9650.
I/O
- ReadFromMongoDB 现在可以与 MongoDB Atlas(Python)一起使用 (BEAM-11266.)
- ReadFromMongoDB/WriteToMongoDB 将在 display_data(Python)中屏蔽密码 (BEAM-11444.)
- 有一个新的转换
ReadAllFromBigQuery
,它可以在管道运行时接收多个请求以从 BigQuery 读取数据。请参见 PR 13170 和 BEAM-9650.
新功能/改进
- 依赖于 Hadoop 的 Beam 模块现在针对与 Hadoop 3 的兼容性进行了测试 (BEAM-8569)。(Hive/HCatalog 待定)
- 作为 Apache Beam 发布过程的一部分,现在支持发布 Java 11 SDK 容器映像。(BEAM-8106)
- 将 Cloud Bigtable 提供程序扩展添加到 Beam SQL (BEAM-11173, BEAM-11373)
- 为 Thrift 数据添加了一个模式提供程序 (BEAM-11338)
- 将组合器打包管道优化添加到 Dataflow 运行器。(BEAM-10641)
- 添加了一个示例,用于将数据从 Apache Kafka 导入 Google Pub/Sub。(BEAM-11065)
重大更改
- HBaseIO hbase-shaded-client 依赖项现在应该由用户提供 (BEAM-9278).
- amazon-web-services2 中的
--region
标志已替换为--awsRegion
(BEAM-11331).
贡献者列表
根据 git shortlog,以下人员为 2.27.0 版本做出了贡献。感谢所有贡献者!
Ahmet Altay, Alan Myrvold, Alex Amato, Alexey Romanenko, Aliraza Nagamia, Allen Pradeep Xavier, Andrew Pilloud, andreyKaparulin, Ashwin Ramaswami, Boyuan Zhang, Brent Worden, Brian Hulette, Carlos Marin, Chamikara Jayalath, Costi Ciudatu, Damon Douglas, Daniel Collins, Daniel Oliveira, David Huntsperger, David Lu, David Moravek, David Wrede, dennis, Dennis Yung, dpcollins-google, Emily Ye, emkornfield, Esun Kim, Etienne Chauchot, Eugene Nikolaiev, Frank Zhao, Haizhou Zhao, Hector Acosta, Heejong Lee, Ilya, Iñigo San Jose Visiers, InigoSJ, Ismaël Mejía, janeliulwq, Jan Lukavský, Kamil Wasilewski, Kenneth Jung, Kenneth Knowles, Ke Wu, kileys, Kyle Weaver, lostluck, Matt Casters, Maximilian Michels, Michal Walenia, Mike Dewar, nehsyc, Nelson Osacky, Niels Basjes, Ning Kang, Pablo Estrada, palmere-google, Pawel Pasterz, Piotr Szuberski, purbanow, Reuven Lax, rHermes, Robert Bradshaw, Robert Burke, Rui Wang, Sam Rohde, Sam Whittle, Siyuan Chen, Tim Robertson, Tobiasz Kędzierski, tszerszen, Valentyn Tymofieiev, Tyson Hamilton, Udi Meiri, vachan-shetty, Xinyu Liu, Yichi Zhang, Yifan Mai, yoshiki.obata, Yueyang Qiu