Apache Beam 路线图

Apache Beam 不受任何商业实体的管理或指导,而是由其项目管理委员会 (PMC) 管理,因此我们没有路线图,例如带有特定时间线的计划。相反,我们分享我们对未来的愿景以及用户可以期待的主要举措、接收和贡献。

Beam 的主要组件都有自己的路线图,您可以在菜单中找到。以下是一些关于该项目的亮点。

可移植性框架

可移植性是 Beam 的主要愿景:使用任何 SDK任何运行器上运行管道。这是跨 Java、Python 和 Go 以及每个 Beam 运行器的跨领域努力。可移植性目前在FlinkSparkPrism 运行器上得到支持。

查看可移植性路线图上的详细信息。

跨语言转换

作为可移植性努力的优势,我们能够跨 SDK 利用 Beam 转换。示例包括在 Python 或 Go 管道中使用 Java 连接器和 Beam SQL,或在 Java 和 Go 中使用 Beam TFX 转换。有关详细信息,请参阅多 SDK 努力的路线图

Go SDK

Go SDK 是最新的 SDK,是第一个完全基于可移植性框架构建的 SDK。如果您有兴趣,请查看Go SDK 的路线图

Python 3 支持

Apache Beam 2.14.0 及更高版本支持 Python 3.5、3.6 和 3.7。我们将继续改进 Python 3 用户的体验,并计划逐步淘汰 Python 2 支持 (BEAM-8371)

查看Python SDK 的路线图上的详细信息。

Java 17 支持

Java SDK 渴望添加对 Java 的下一个 LTS (长期支持) 版本的支持。查看Java SDK 的路线图上的详细信息。

SQL

Beam 的 SQL 模块正在迅速成熟,以允许用户仅使用 SQL 编写批处理和流管道,还可以允许 Beam Java 开发人员在管道组件中使用 SQL 以提高效率。查看Beam SQL 路线图

可移植模式

模式允许 SDK 和运行器了解用户数据的结构,并释放关系优化可能性。可移植模式能够在 Python 和 Java 中的行之间实现兼容性。一个特别有趣的用例是将 SQL (在 Java 中实现) 与 Beam 的跨语言支持相结合的 Python SDK。从这个演示文稿中了解有关可移植模式的更多信息。

Euphoria

Euphoria 是 Beam 的最新 API,为 Beam Java 开发人员提供了一种高级、流畅的风格。查看Euphoria API 路线图