介绍 Apache Beam

统一的 Apache Beam 模型

进行批处理和流式数据处理的最简单方法。编写一次，在任何地方运行数据处理，适用于关键任务的生产工作负载。

介绍 Apache Beam

统一的 Apache Beam 模型

进行批处理和流式数据处理的最简单方法。编写一次，在任何地方运行数据处理，适用于关键任务的生产工作负载。

Java 快速入门

Python 快速入门

Go 快速入门

尝试游乐场

它是如何工作的？

数据源

Beam 从支持的各种数据源读取您的数据，无论是在本地还是在云端。

数据处理

Beam 执行您的业务逻辑，以用于批处理和流式用例。

数据写入

Beam 将您的数据处理逻辑结果写入行业中最流行的数据接收器。

Apache Beam 特性

统一

简化的单一编程模型，适用于批处理和流式用例，适用于您的数据和应用程序团队的每个成员。

可扩展

Apache Beam 是可扩展的，例如 TensorFlow Extended 和 Apache Hop 都是基于 Apache Beam 构建的。

可移植

在多个执行环境（运行器）上执行管道，提供灵活性并避免锁定。

开源

开放的、社区驱动的开发和支持，帮助您发展应用程序并满足特定用例的需求。

编写一次，在任何地方运行

创建多语言管道

尝试 Beam 游乐场

Beam 游乐场是一个交互式环境，可以尝试 Beam 变换和示例，无需在您的环境中安装 Apache Beam。您可以在 Beam 游乐场尝试 Apache Beam 示例。

beam playground

由 Apache Beam 支持的案例研究

previous button

Apache Beam 为 LinkedIn 的流式基础设施提供动力，每天通过 3000 多个管道处理 4 万亿个事件，以近乎实时的速度运行。Beam 实现了统一的管道，在许多用例中节省了 2 倍的成本，并取得了显著的改进。

分享您的故事

使用 Apache Beam，OCTO 加速了法国最大的杂货零售商之一向交易数据的流式处理迁移，将基础设施成本降低了 5 倍，性能提高了 4 倍。

分享您的故事

汇丰银行利用 Apache Beam 作为计算平台和风险引擎，实现了 100 倍的扩展，性能提高了 2 倍，并简化了数据分发，用于在汇丰银行的全球范围内评估和管理 XVA 和对手方信用风险。

分享您的故事

Apache Beam 支持“项目护盾”的使命，即保护言论自由，让网络变得更安全，通过在超过 10000 QPS 的情况下实现 2 倍的流式效率，以及实时了解其超过 3000 个客户的攻击数据。

分享您的故事

Apache Beam 为 Booking.com 的全球广告竞价提供支持，用于性能营销，每天扫描超过 2PB 的数据，将处理速度提高了惊人的 36 倍，并将上市时间缩短了 4 倍。

分享您的故事

Apache Beam 使 Credit Karma 的数据和 ML 平台能够适应未来，实现可扩展性和效率，通过统一的管道实现 MLOps，每天处理 5-10 TB 数据，每秒 5000 个事件，并管理 20000 多个 ML 特征。

分享您的故事

Apache Beam 是 Intuit 的流处理平台的核心组件，该平台使编写流处理管道的生产时间缩短了 3 倍。

分享您的故事

Apache Beam 支持实时 ML 流式特征生成和模型执行，在优化 Lyft 的市场 ML 预测方面发挥着关键作用，每分钟处理约 400 万个事件以生成约 100 个特征。

分享您的故事

捷克搜索引擎 Seznam 是 Apache Beam 的早期贡献者和采用者，他们已将数 PB 级的工作负载迁移到 Apache Beam 管道。

分享您的故事

Palo Alto Networks, Inc. 是一家全球网络安全领导者，使用 Apache Beam 处理其实时流式基础设施每秒约 1000 万个安全日志事件。

分享您的故事

Apache Beam 为 Ricardo（瑞士领先的二手市场）提供了一个可扩展且可靠的数据处理框架，支持基本业务场景，并实现实时和 ML 数据处理。

分享您的故事

Apache Hop 是一款开源数据编排平台，使用 Apache Beam 实现“设计一次，在任何地方运行”，并通过支持可视化管道开发和生命周期管理，为 Apache Beam 用户创造价值。

分享您的故事

有故事要分享？您的徽标可能就在这里。

分享您的故事

分享您的故事

及时了解 Beam 的最新信息

博客 & 版本发布

2024/10/17

Apache Beam 2.60.0

Yi Hu

博客

2024/10/16

Apache Beam Summit 2024：释放 ML 在数据处理中的力量

XQ Hu, Danny McCormick & Reza Rokni