概述

Hazelcast Jet 运行器可用于使用 Hazelcast Jet 执行 Beam 管道。

Jet 运行器和 Jet 适用于大规模持续作业，并提供

• 对批处理（有界）和流式处理（无界）数据集的支持
• 同时支持极高吞吐量和低事件延迟的运行时
• 流式处理程序中的自然背压
• 带有内存存储的分布式大规模并行数据处理引擎

需要注意的是，Jet 运行器目前处于实验状态，无法利用 Jet 中存在的许多功能

• Jet 具有完整的容错支持，Jet 运行器没有；如果作业失败，则必须重新启动
• Jet 的内部性能非常高。目前运行器无法与之匹配，因为 Beam 管道优化/手术尚未完全实现。

The Beam Capability Matrix documents the supported capabilities of the Jet Runner.

使用 Hazelcast Jet 运行器运行 WordCount

生成 Beam 示例项目

只需按照 Java 快速入门页面 中的说明操作即可。

在本地 Jet 集群上运行 WordCount

在 Beam 示例项目中执行以下命令以启动新的 Jet 集群并在其上运行 WordCount 示例。

    $ mvn package exec:java \
        -DskipTests \
        -Dexec.mainClass=org.apache.beam.examples.WordCount \
        -Dexec.args="\
            --runner=JetRunner \
            --jetLocalMode=3 \
            --inputFile=pom.xml \
            --output=counts" \
        -Pjet-runner

在远程 Jet 集群上运行 WordCount

Beam 示例项目（从原型生成时）来自特定发布的 Beam 版本（这就是 archetypeVersion 属性的含义）。每个包含 Jet 运行器的 Beam 版本（即从 2.14.0 开始）都使用特定版本的 Jet。因此，当我们启动独立的 Jet 集群并尝试在其上运行 Beam 示例时，我们需要确保两者兼容。请参见下表了解针对不同 Beam 版本推荐的 Jet 版本。

从 Hazelcast Jet 网站 下载与您使用的 Beam 版本兼容的最新 Hazelcast Jet 版本。

下载完成后，您需要启动 Jet 集群。最简单的方法是使用下载的 Jet 发行版附带的 jet-start 脚本启动 Jet 集群成员。成员使用 自动发现功能 自动发现功能 来形成集群。我们启动一个由两个成员组成的集群

$ cd hazelcast-jet
$ bin/jet-start.sh &
$ bin/jet-start.sh &

$ cd hazelcast-jet
$ bin/jet-start &
$ bin/jet-start &

检查集群是否已启动并运行

$ bin/jet.sh cluster

$ bin/jet cluster

您应该看到类似以下内容

State: ACTIVE
Version: 3.0
Size: 2

ADDRESS                  UUID
[192.168.0.117]:5701     76bea7ba-f032-4c25-ad04-bdef6782f481
[192.168.0.117]:5702     03ecfaa2-be16-41b6-b5cf-eea584d7fb86

State: ACTIVE
Version: 4.0
Size: 2

ADDRESS                  UUID
[192.168.0.117]:5701     b9937bba-32aa-48ba-8e32-423aafed763b
[192.168.0.117]:5702     dfeadfb2-3ba5-4d1c-95e7-71a1a3ca4937

将目录更改为 Beam Examples 项目，并执行以下命令以将您的管道提交到远程 Jet 集群并执行它。请确保将输入文件（包含要计算的词语的文件）分发到运行集群的所有机器上。否则，词语计数作业将无法读取数据。

    $ mvn package exec:java \
        -DskipTests \
        -Dexec.mainClass=org.apache.beam.examples.WordCount \
        -Dexec.args="\
            --runner=JetRunner \
            --jetServers=192.168.0.117:5701,192.168.0.117:5702 \
            --codeJarPathname=target/word-count-beam-bundled-0.1.jar \
            --inputFile=<INPUT_FILE_AVAILABLE_ON_ALL_CLUSTER_MEMBERS> \
            --output=/tmp/counts" \
        -Pjet-runner

Jet 运行器的管道选项