Beam SDK for Python 依赖
此页面提供了有关 Apache Beam Python SDK 依赖的信息。
如果您的管道需要其他依赖项,请参阅 管理 Python 管道依赖项。
Apache Beam Python SDK 的依赖项在 Beam 存储库的 setup.py
文件中定义。要查看它们,请执行以下步骤
打开
setup.py
。https://github.com/apache/beam/blob/release-<VERSION_NUMBER>/sdks/python/setup.py
将
<VERSION_NUMBER>
替换为 SDK 的主版本.次版本.修订版本。例如,https://github.com/apache/beam/blob/release-2.60.0/sdks/python/setup.py 提供了 2.60.0 版本的依赖项。查看
REQUIRED_PACKAGES
下的核心依赖项列表。注意:如果您需要 额外功能,例如
gcp
或dataframe
,请查看extras_require
中的列表以获取其他依赖项。
您也可以使用以下过程从命令行检索依赖项列表
在您的本地机器上使用支持的 python 版本创建一个干净的虚拟环境。
$ python3 -m venv env && source ./env/bin/activate && pip install --upgrade pip setuptools wheel
检索依赖项列表。
$ pip install pipdeptree && pipdeptree -p apache-beam
如果您有 docker
安装,则可以通过从映像创建容器来检查预安装在 Beam Python SDK 容器映像 中的依赖项,例如:docker run --rm -it --entrypoint=/bin/sh apache/beam_python3.10_sdk:2.55.0 -c "pip list"
。
您还可以在 Beam 存储库的 Beam 存储库 中的 base_image_requirements.txt
文件中找到安装在 Beam 容器中的依赖项列表,对应于 Beam 发布分支和 Python 次版本。