Skip to content

Latest commit

 

History

History
25 lines (15 loc) · 1.35 KB

inferedpt_17.md

File metadata and controls

25 lines (15 loc) · 1.35 KB

添加自定义依赖项

原始文本:huggingface.co/docs/inference-endpoints/guides/custom_dependencies

推理端点的基础镜像包含运行🤗 Transformers 模型推理所需的所有库,但也支持自定义依赖项。如果您想要:

  • 自定义推理管道并需要额外的 Python 依赖项

  • 运行需要特殊依赖项的模型,例如最新版本或固定版本的库(例如,tapastorch-scatter))。

要添加自定义依赖项,请在 Hugging Face Hub 上的模型存储库中添加一个带有您想要安装的 Python 依赖项的requirements.txt文件。当创建您的端点和镜像工件时,推理端点会检查模型存储库是否包含requirements.txt文件,并安装列出的依赖项。

optimum[onnxruntime]==1.2.3
mkl-include
mkl

查看以下模型存储库中的requirements.txt文件以获取示例:

有关更多信息,请查看如何在推理时使用自定义容器创建和安装依赖项。