Skip to content

issues Search Results · repo:xorbitsai/inference language:Python

Filter by

2k results
 (71 ms)

2k results

inxorbitsai/inference (press backspace or delete to remove)

xorbitsai/inference
V1.10.1，开启带密码登录后，启动报错

System Info / 系統信息 docker-v1.10.1 Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？ - [x] docker / docker - [ ] pip install / 通过 pip install 安装 - [ ] installation from source / 从源码安装 ...
  • ran411285752
  • Opened 
    8 hours ago
  • #4120

xorbitsai/inference
xinference-v1.10.1 docker 启动qwen3-Next模型报错

System Info / 系統信息 xinference-v1.10.1 docker GPU：H20 * 2 系统：ubuntu22.04 Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？ - [x] docker / docker - [ ] pip install / 通过 pip install 安装 ...
gpu
  • Tian14267
  • Opened 
    10 hours ago
  • #4119

xorbitsai/inference
xinference-v1.10.1 docker 调用模型报错：Unexpected keyword argument 'structured_outputs'"

System Info / 系統信息 xinference-v1.10.1 docker GPU：H20 * 2 系统：ubuntu22.04 Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？ - [x] docker / docker - [ ] pip install / 通过 pip install 安装 ...
gpu
  • Tian14267
  • Opened 
    yesterday
  • #4118

xorbitsai/inference
xinference:1.10.0 docker 無法部署Wan2.2-TI2V-5B

System Info / 系統信息 services: xinference: image: xinference:1.10.0 restart: always volumes: - E:/xinference/.xinference:/root/.xinference # Xinference 配置目录 - E:/xinference/.cache/huggingface:/root/.cache/huggingface ...
gpu
  • zhuangif
  • Opened 
    yesterday
  • #4117

xorbitsai/inference
Xinference支持在AMD显卡在Windows下本地部署并启动模型连到DIFY

Feature request / 功能建议 Mi50 32GB打镭7Pro驱动，windows系统下本地部署pip install xinference安装完成并启动，xinference启动后，下载rerank模型，跑的是cpu不是gpu，希望能调动Mi50 32gb去跑rerank模型（还是说我的方法不对？）ROCM版本为v6.2. Motivation / 动机 希望用AMD显卡（Mi50 ...
feature
gpu
  • CodeNoobLawyer
  • Opened 
    5 days ago
  • #4116

xorbitsai/inference
添加对vllm推理多模态模型的视频及音频输入支持

Feature request / 功能建议 添加对vllm推理多模态模型的视频输入支持以便支持qwen2.5-vl,qwen3-vl,glm4.5v,glm4.1v,qvq等模型的视频输入支持，添加音频输入支持以便支持qwen2-audio以及未来可能有的qwen3-audio的支持，添加视频和音频推理支持以便支持使用vllm推理qwen3-omni和qwen2.5-omni Motivation ...
feature
  • zhcn000000
  • 1
  • Opened 
    7 days ago
  • #4115

xorbitsai/inference
是否支持与springai集成

是否支持与springai集成
  • kui512420
  • 1
  • Opened 
    10 days ago
  • #4109

xorbitsai/inference
GUI-Owl类功能添加

Feature request / 功能建议 建议新增GUI-Owl类功能，目前魔搭社区已有上千下载量。 Motivation / 动机 https://modelscope.cn/models/iic/GUI-Owl-7B Your contribution / 您的贡献 /
feature
  • promise-hash
  • 2
  • Opened 
    10 days ago
  • #4108

xorbitsai/inference
单卡无法部署多个replica

System Info / 系統信息 如题，为什么，那我只有一张卡怎么部署多路副本 Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？ - [ ] docker / docker - [ ] pip install / 通过 pip install 安装 - [ ] installation from source ...
  • Kenwwww
  • 2
  • Opened 
    12 days ago
  • #4104

xorbitsai/inference
多机WSL集群部署qwen2.5-vl-instruct报错，AttributeError: 'NoneType' object has no attribute 'sampled_token_ids'

System Info / 系統信息 CUDA 12.8 transformers 4.56.2 xllamacpp 0.2.0 vllm 0.10.2 python 3.11.13 pytorch 2.8.0+cu128 WSL 版本: 2.5.9.0 内核版本: 6.6.87.2-1 WSLg 版本: 1.0.66 MSRDC 版本: 1.2.6074 Direct3D 版本: 1.611.1-81528511 ...
gpu
stale
  • Jin-Cheng-Ming
  • 3
  • Opened 
    12 days ago
  • #4101
Issue origami icon

Learn how you can use GitHub Issues to plan and track your work.

Save views for sprints, backlogs, teams, or releases. Rank, sort, and filter issues to suit the occasion. The possibilities are endless.Learn more about GitHub Issues
ProTip! 
Press the
/
key to activate the search input again and adjust your query.
Issue origami icon

Learn how you can use GitHub Issues to plan and track your work.

Save views for sprints, backlogs, teams, or releases. Rank, sort, and filter issues to suit the occasion. The possibilities are endless.Learn more about GitHub Issues
ProTip! 
Press the
/
key to activate the search input again and adjust your query.
Issue search results · GitHub