Apache Beam 文档

此页面提供指向 Beam 编程模型、SDK 和运行器的概念信息和参考材料的链接。

概念

了解 Beam 编程模型以及所有 Beam SDK 和运行器共有的概念。

• 从 Beam 模型基础 开始，获取介绍性概念信息。
• 阅读 编程指南，其中包含有关 Beam 概念的更详细的信息，并提供代码片段。
• 了解 Beam 的 执行模型 以更好地了解管道如何执行。
• 访问 学习资源 以获取我们最喜欢的关于 Beam 的文章和演讲。
• 参考 词汇表 以了解 Beam 编程模型的术语。

管道基础

• 设计您的管道，方法是规划管道的结构，选择要应用于数据的转换，以及确定您的输入和输出方法。
• 创建您的管道，方法是使用 Beam SDK 中的类。
• 测试您的管道 以最大程度地减少调试管道远程执行的操作。

SDK

查找所有可用 Beam SDK 的状态和参考信息。

转换目录

Beam 的转换目录包含 Beam 内置转换的说明和代码片段。

• Java 转换目录
• Python 转换目录

运行器

Beam 运行器在特定（通常是分布式）数据处理系统上运行 Beam 管道。

可用运行器

选择运行器

Beam 旨在使管道能够跨不同运行器移植。但是，考虑到每个运行器都有不同的功能，它们在实现 Beam 模型中的核心概念方面也有不同的能力。 功能矩阵 提供了运行器功能的详细比较。

选择要使用的运行器后，请查看该运行器的页面以获取有关任何初始运行器特定设置以及任何必需或可选的 PipelineOptions（用于配置其执行）的更多信息。您可能还想参考 Java、Python 或 Go 的快速入门，以获取有关执行示例 WordCount 管道的说明。