Derek Liu

icon location Wuba Luba Dub Dub

Results 3 comments of Derek Liu

why you use cpu --->model(inp).cpu() ...............................

作者高估了用cpu进行infer的效率。且不说效率，光训练直接拉满近百张cpu，跪了

使用lmdeploy框架部署internvl-chat-1.5，输出结果不稳定，精度下降明显，有遇到类似的情况吗？

same，虽然没有测试精度，但是试了几张输入，没有几个能理解对的

LMDeploy部署时tp>1，模型输出行为异常

> 我测试下来，只要安装了flash attention，tp就能正常使用，暂时还不清楚内部是什么原因 我确实之前没有安装flash attn，我试了pip install flash-attn，版本2.6.3，启动server时也没有出现flash attn的warning了，但我上述说的问题仍然存在😥没有任何变化