Скорость ответа

[littlecat-dev]

Скорость для генерации ответа на сообщение довольно долгая (1-2 минуты на привет, как дела и другие вопросы), ПК такой:
AMD 3200 , Nvidia 1060/6, 16 Гб ОЗУ.
Подозреваю что либо не используется видеокарта, либо не хватает ОЗУ. Использую докер с сайта, дистрибутив linux mint. Как можно ускорить выдачу ответа?

[Koziev]

Привет,

Попробуйте при запуске контейнера с ботом указывать опцию --gpus all

Я собирал образ с поддержкой nvidia cuda, но сам проверить не могу, так как у меня интегрированная видеокарта intel мешает (известный баг, увы).

[littlecat-dev]

Попробуйте при запуске контейнера с ботом указывать опцию --gpus all

Не помогло, пробовал ещё ставить разные версии драйверов, скорость не поменялась.

но сам проверить не могу

Могу помочь

[Koziev]

Могу помочь

Спасибо, надо подумать, как найти причину.

Вне докера весь код бота автоматом подхватывает доступную гпушку.

А вот внутри контейнера видимо что-то мешает, хотя образ собирается на основе nvidia/cuda:11.6.2-runtime-ubuntu20.04 и какбэ должен давать доступ к CUDA-устройствам.

🤔

[Koziev]

Привет,

если будет время и желание немного покопать вопрос с GPU в контейнере - попробуйте пожалуйста взять новую сборку бота тут https://github.com/Koziev/chatbot/releases/tag/v0.0.6.4-alpha и запустить ее с опцией --gpus all.

В самом начале в лог будет выведен результат вызова torch.cuda.is_available(). Вот такая строчка:

2022-11-28 05:52:42 DEBUG    BotCore  - BotCore: device=cpu

говорит о том, что внутри контейнера гпушка не видна. Если это будет так, надо мне будет думать в сторону версий CUDA в базовом образе.

[littlecat-dev]

Привет, запустил новый образ докера, с gpus all , дрова тоже потестил - не, везде с cpu запускается