cogvlm2-llama3-chinese-chat-19B模型无法在cpu环境下运行

[wwbrave002]

trafficstars

System Info / 系統信息

transformers-4.41.1 cuda-cpu python3.11 WindowsServer2016Standard 我尝试在无显卡的环境部署该模型，似乎无法正常运作，在一番努力后模型可以正常加载，但在提问时，他会调用xformers，在没有显卡的环境下显然无法调用，即便我安装了xformers。

我的环境能正常运行qwen-vl-chat/Bunny-Llama-3-8B-V，甚至Llama-3-70B也能运行，只是缓慢一些，理论上这是一个可用的环境才对。

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• [ ] The official example scripts / 官方的示例脚本
• [ ] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

在无显卡的环境使用应该就可以复现。

Expected behavior / 期待表现

应该可以运行才对。

[zRzRzRzRzRzRzR]

必须在 Linux + Nvidia GPU环境运行

[Sleepychord]

@zRzRzRzRzRzRzR 不是，理论上在windows也可以。我们再调研一下

[wwbrave002]

@Sleepychord 您好，windows可以的话，是不是必须要有GPU环境？没有的话能跑么？

[zRzRzRzRzRzRzR]

4 bit要的，4bit的话用到了bitsandbytes这个库是依赖英伟达的Cud设备的。 如果是BF16，能解决triton问题就能在win上跑