charleshuangruo

> 遇到同样的问题. > > `bash run.sh -c local -i 0 -b hf -m Qwen-7B-QAnything -t qwen-7b-qanything` > > 我是3060 12G，选择3B模型. > > 不是显存的问题，是 pip 包没有安装导致无法引用。但是不知道python的环境在哪个目录里，也没办法单独安装 > > pip install FlashAttention...

收到Helix大神的消息，“一样的错误, 试试换用这个命令启动：bash ./run.sh -c local -i 0 -b default -m Qwen-7B-QAnything -t qwen-7b-qanything”。我换了命令成功了。之前把QAnything-win升级到1.2.1，配置文件指向1.2.1版也不行，没想到改参数可以解决（hf改default）。我看run.sh文件里default代表使用FasterTransformer，支持40系显卡。