预测和推理

Beam 提供了不同的方法来实现推理作为您管道的一部分。您可以在您的管道中直接运行您的 ML 模型，并在批量和流管道中将其应用于大规模数据集。

使用 RunInference API

Pydoc Pydoc




Javadoc Javadoc

RunInference API 可用于 Beam Python SDK 2.40.0 及更高版本。您可以将 Apache Beam 与 RunInference API 一起使用，使用机器学习 (ML) 模型在批处理和流管道中进行本地和远程推理。从 Apache Beam 2.40.0 开始，支持 PyTorch 和 Scikit-learn 框架。Tensorflow 模型通过 tfx-bsl 支持。有关使用 RunInference 与 Python 的更多信息，请参阅 关于 Beam ML。

RunInference API 可用于 Beam Java SDK 2.41.0 及更高版本，通过 Apache Beam 的 多语言管道框架。有关 Java 包装器转换的信息，请参阅 RunInference.java。要试用它，请参阅 Java Sklearn Mnist 分类示例。

您可以使用 RunInference API 创建多种类型的转换：该 API 从模型处理程序接收多种类型的设置参数，参数类型决定模型的实现。

任务示例
我想使用 RunInference 转换修改 Python 管道以使用 ML 模型
我想使用 RunInference 与 PyTorch使用 RunInference 与 PyTorch
我想使用 RunInference 与 Sklearn使用 RunInference 与 Sklearn
我想使用预训练模型（PyTorch、Scikit-learn 或 TensorFlow）使用预训练模型

用例

任务示例
我想构建具有多个模型的管道多模型管道
我想使用 TensorRT 构建自定义模型处理程序将 TensorRT 与 RunInference 一起使用
我想使用 LLM 推理大型语言模型推理