博客 & 发布

2021/02/22

Apache Beam 2.28.0

Chamikara Jayalath

我们很高兴推出 Apache Beam 的 2.28.0 新版本。此版本包含改进和新功能。请查看 下载页面 获取此版本的下载信息。有关 2.28.0 中更改的更多信息，请查看 详细的发布说明。

亮点

I/Os

  • SpannerIO 支持对数值字段使用 BigDecimal（BEAM-11643）
  • 为 ParquetIO 添加 Beam 模式支持（BEAM-11526）
  • 支持 ParquetTable Writer（BEAM-8202）
  • GCP BigQuery 接收器（流式插入）使用运行器确定的分片（BEAM-11408）
  • PubSub 支持类型：TIMESTAMP、DATE、TIME、DATETIME（BEAM-11533）

新功能/改进

  • ParquetIO 添加了方法 readGenericRecords 和 readFilesGenericRecords，可以读取具有未知模式的文件。请查看 PR-13554 和（BEAM-11460）
  • 在 KafkaTableProvider 中添加了对 Thrift 的支持（BEAM-11482）
  • 为 HadoopFormatIO 添加了支持，以跳过键/值克隆（BEAM-11457）
  • 支持在 Convert.to 转换中转换为泛型记录（BEAM-11571）。
  • 支持在 Beam SQL 中写入 Parquet 表（BEAM-8202）。
  • 支持读取具有未知模式的 Parquet 文件（BEAM-11460）
  • 支持为 ParquetIO 配置用户可配置的 Hadoop 配置标志（BEAM-11527）
  • 向 ReadFromKafka 公开 commit_offset_in_finalize 和 timestamp_policy（BEAM-11677）
  • 在使用 FlinkRunner 和 Beam 工作人员池容器时，不会将 S3 选项提供给 boto3 客户端（BEAM-11799）
  • HDFS 没有对相同的配置路径进行重复数据删除（BEAM-11329）
  • BeamSQL 中的哈希函数（BEAM-10074）
  • 使用 HLL Impl 创建近似 Distinct（BEAM-10324）
  • 为 ParquetIO 添加 Beam 模式支持（BEAM-11526）
  • 添加 Deque 编码器（BEAM-11538）
  • ZetaSQL 中的哈希函数（BEAM-11624）
  • 重构 ParquetTableProvider（ ）
  • 将 JVM 属性添加到 JavaJobServer（BEAM-8344）
  • 支持的 Flink 版本的单一事实来源（ ）
  • 使用指标记录 Python BigQuery 流式插入 API 延迟日志（BEAM-11018）
  • 使用指标记录 Java BigQuery 流式插入 API 延迟日志（BEAM-11032）
  • 将 Flink 运行器升级到 Flink 版本 1.12.1 和 1.11.3（BEAM-11697）
  • 升级 Beam 基础映像以使用 Tensorflow 2.4.1（BEAM-11762）
  • 创建 Beam GCP BOM（BEAM-11665）

重大变更

  • Java 工件“beam-sdks-java-io-kinesis”、“beam-sdks-java-io-google-cloud-platform”和“beam-sdks-java-extensions-sql-zetasql”声明了 Guava 30.1-jre 依赖项（在 Beam 2.27.0 中，它是 25.1-jre）。如果您的项目或依赖项依赖于已删除的 API，则此新 Guava 版本可能会引入依赖项冲突。如果受影响，请通过 Maven 中的 dependencyManagement 和 Gradle 中的 force 使用适当的 Guava 版本。

贡献者列表

根据 git shortlog，以下人员为 2.28.0 版本做出了贡献。感谢所有贡献者！

Ahmet Altay, Alex Amato, Alexey Romanenko, Allen Pradeep Xavier, Anant Damle, Artur Khanin, Boyuan Zhang, Brian Hulette, Chamikara Jayalath, Chris Roth, Costi Ciudatu, Damon Douglas, Daniel Collins, Daniel Oliveira, David Cavazos, David Huntsperger, Elliotte Rusty Harold, Emily Ye, Etienne Chauchot, Etta Rapp, Evan Palmer, Eyal, Filip Krakowski, Fokko Driesprong, Heejong Lee, Ismaël Mejía, janeliulwq, Jan Lukavský, John Edmonds, Jozef Vilcek, Kenneth Knowles Ke Wu, kileys, Kyle Weaver, MabelYC, masahitojp, Masato Nakamura, Milena Bukal, Miraç Vuslat Başaran, Nelson Osacky, Niel Markwick, Ning Kang, omarismail94, Pablo Estrada, Piotr Szuberski, ramazan-yapparov, Reuven Lax, Reza Rokni, rHermes, Robert Bradshaw, Robert Burke, Robert Gruener, Romster, Rui Wang, Sam Whittle, shehzaadn-vd, Siyuan Chen, Sonam Ramchand, Tobiasz Kędzierski, Tomo Suzuki, tszerszen, tvalentyn, Tyson Hamilton, Udi Meiri, Xinbin Huang, Yichi Zhang, Yifan Mai, yoshiki.obata, Yueyang Qiu, Yusaku Matsuki