原始文本:
huggingface.co/docs/inference-endpoints/guides/custom_dependencies
推理端点的基础镜像包含运行🤗 Transformers 模型推理所需的所有库,但也支持自定义依赖项。如果您想要:
-
自定义推理管道并需要额外的 Python 依赖项
-
运行需要特殊依赖项的模型,例如最新版本或固定版本的库(例如,
tapas
(torch-scatter
))。
要添加自定义依赖项,请在 Hugging Face Hub 上的模型存储库中添加一个带有您想要安装的 Python 依赖项的requirements.txt
文件。当创建您的端点和镜像工件时,推理端点会检查模型存储库是否包含requirements.txt
文件,并安装列出的依赖项。
optimum[onnxruntime]==1.2.3
mkl-include
mkl
查看以下模型存储库中的requirements.txt
文件以获取示例:
有关更多信息,请查看如何在推理时使用自定义容器创建和安装依赖项。