chatbot
chatbot copied to clipboard
Koziev
Скорость ответа
Скорость для генерации ответа на сообщение довольно долгая (1-2 минуты на привет, как дела и другие вопросы), ПК такой: AMD 3200 , Nvidia 1060/6, 16 Гб ОЗУ. Подозреваю что либо не используется видеокарта, либо не хватает ОЗУ. Использую докер с сайта, дистрибутив linux mint. Как можно ускорить выдачу ответа?
Привет,
Попробуйте при запуске контейнера с ботом указывать опцию --gpus all
Я собирал образ с поддержкой nvidia cuda, но сам проверить не могу, так как у меня интегрированная видеокарта intel мешает (известный баг, увы).
Попробуйте при запуске контейнера с ботом указывать опцию
--gpus all
Не помогло, пробовал ещё ставить разные версии драйверов, скорость не поменялась.
но сам проверить не могу
Могу помочь
Могу помочь
Спасибо, надо подумать, как найти причину.
Вне докера весь код бота автоматом подхватывает доступную гпушку.
А вот внутри контейнера видимо что-то мешает, хотя образ собирается на основе nvidia/cuda:11.6.2-runtime-ubuntu20.04 и какбэ должен давать доступ к CUDA-устройствам.
🤔
Привет,
если будет время и желание немного покопать вопрос с GPU в контейнере - попробуйте пожалуйста взять новую сборку бота тут https://github.com/Koziev/chatbot/releases/tag/v0.0.6.4-alpha и запустить ее с опцией --gpus all.
В самом начале в лог будет выведен результат вызова torch.cuda.is_available(). Вот такая строчка:
2022-11-28 05:52:42 DEBUG BotCore - BotCore: device=cpu
говорит о том, что внутри контейнера гпушка не видна. Если это будет так, надо мне будет думать в сторону версий CUDA в базовом образе.
Привет, запустил новый образ докера, с gpus all , дрова тоже потестил - не, везде с cpu запускается