Apache Beam 路线图
Apache Beam 不受任何商业实体的管理或指导,而是由其项目管理委员会 (PMC) 管理,因此我们没有路线图,例如带有特定时间线的计划。相反,我们分享我们对未来的愿景以及用户可以期待的主要举措、接收和贡献。
Beam 的主要组件都有自己的路线图,您可以在菜单中找到。以下是一些关于该项目的亮点。
可移植性框架
可移植性是 Beam 的主要愿景:使用任何 SDK 在任何运行器上运行管道。这是跨 Java、Python 和 Go 以及每个 Beam 运行器的跨领域努力。可移植性目前在Flink、Spark 和Prism 运行器上得到支持。
查看可移植性路线图上的详细信息。
跨语言转换
作为可移植性努力的优势,我们能够跨 SDK 利用 Beam 转换。示例包括在 Python 或 Go 管道中使用 Java 连接器和 Beam SQL,或在 Java 和 Go 中使用 Beam TFX 转换。有关详细信息,请参阅多 SDK 努力的路线图。
Go SDK
Go SDK 是最新的 SDK,是第一个完全基于可移植性框架构建的 SDK。如果您有兴趣,请查看Go SDK 的路线图。
Python 3 支持
Apache Beam 2.14.0 及更高版本支持 Python 3.5、3.6 和 3.7。我们将继续改进 Python 3 用户的体验,并计划逐步淘汰 Python 2 支持 (BEAM-8371)
查看Python SDK 的路线图上的详细信息。
Java 17 支持
Java SDK 渴望添加对 Java 的下一个 LTS (长期支持) 版本的支持。查看Java SDK 的路线图上的详细信息。
SQL
Beam 的 SQL 模块正在迅速成熟,以允许用户仅使用 SQL 编写批处理和流管道,还可以允许 Beam Java 开发人员在管道组件中使用 SQL 以提高效率。查看Beam SQL 路线图
可移植模式
模式允许 SDK 和运行器了解用户数据的结构,并释放关系优化可能性。可移植模式能够在 Python 和 Java 中的行之间实现兼容性。一个特别有趣的用例是将 SQL (在 Java 中实现) 与 Beam 的跨语言支持相结合的 Python SDK。从这个演示文稿中了解有关可移植模式的更多信息。
Euphoria
Euphoria 是 Beam 的最新 API,为 Beam Java 开发人员提供了一种高级、流畅的风格。查看Euphoria API 路线图。
最后更新于 2024/10/31
您是否找到了您要找的所有内容?
所有内容是否都有用且清晰?您想更改任何内容吗?请告诉我们!