Beam SDK for Python 依赖

此页面提供了有关 Apache Beam Python SDK 依赖的信息。

如果您的管道需要其他依赖项,请参阅 管理 Python 管道依赖项

Apache Beam Python SDK 的依赖项在 Beam 存储库的 setup.py 文件中定义。要查看它们,请执行以下步骤

  1. 打开 setup.py

    https://github.com/apache/beam/blob/release-<VERSION_NUMBER>/sdks/python/setup.py
    

    <VERSION_NUMBER> 替换为 SDK 的主版本.次版本.修订版本。例如,https://github.com/apache/beam/blob/release-2.60.0/sdks/python/setup.py 提供了 2.60.0 版本的依赖项。

  2. 查看 REQUIRED_PACKAGES 下的核心依赖项列表。

    注意:如果您需要 额外功能,例如 gcpdataframe,请查看 extras_require 中的列表以获取其他依赖项。

您也可以使用以下过程从命令行检索依赖项列表

  1. 在您的本地机器上使用支持的 python 版本创建一个干净的虚拟环境。

    $ python3 -m venv env && source ./env/bin/activate && pip install --upgrade pip setuptools wheel
    
  2. 安装 Beam Python SDK.

  3. 检索依赖项列表。

    $ pip install pipdeptree && pipdeptree -p apache-beam
    

如果您有 docker 安装,则可以通过从映像创建容器来检查预安装在 Beam Python SDK 容器映像 中的依赖项,例如:docker run --rm -it --entrypoint=/bin/sh apache/beam_python3.10_sdk:2.55.0 -c "pip list"

您还可以在 Beam 存储库的 Beam 存储库 中的 base_image_requirements.txt 文件中找到安装在 Beam 容器中的依赖项列表,对应于 Beam 发布分支和 Python 次版本。