Apache Beam Java SDK

Apache Beam 的 Java SDK 提供了一个简单而强大的 API，用于在 Java 中构建批处理和流式并行数据处理管道。

Java SDK 入门

从 Beam 编程模型 入门，了解适用于 Beam 中所有 SDK 的基本概念。

有关各个 API 的更多信息，请参见 Java API 参考。

支持的功能

Java SDK 支持 Beam 模型目前支持的所有功能。

管道 I/O

有关当前可用的 I/O 变换列表，请参见 Beam 提供的 I/O 变换 页面。

扩展

Java SDK 具有以下扩展

• join-library 提供内部联接、外部左联接和外部右联接函数。
• sorter 是一个高效且可扩展的大型可迭代排序器。
• Nexmark 是一个以批处理和流式模式运行的基准测试套件。
• TPC-DS 是一个以批处理模式运行的 SQL 基准测试套件。
• euphoria 是一个易于使用的 Java 8 DSL，用于 BEAM。

此外，还存在几个 第三方 Java 库。

Java 多语言管道快速入门

Apache Beam 允许您将任何支持的 SDK 语言编写的变换组合在一起，并将其用于一个多语言管道。要了解如何使用 Java SDK 创建多语言管道，请参见 Java 多语言管道快速入门。