Yog-AI

Results 4 comments of Yog-AI

#1712 版本降级可以解决model not found,应该是新版本的bug

0.12.0的含金量还在上升,我通过版本降级解决了 参考[#1712 ](https://github.com/xorbitsai/inference/issues/1712)

> 我A800 80G运行glm4 也会爆 难绷 0.12.2 是的,我200%确认在pip install xinference -U 之前,glm4v是正常运行且运行了一批识别任务的。

我无法探明OOM问题出现的原因,只能给后面遇到相似问题的人一个参考。 解决办法: 回退xinference版本,重新创建一个conda虚拟环境,然后安装:pip install "xinference[all]==0.12.0" 然后就能运行glm4v模型了 ![image](https://github.com/xorbitsai/inference/assets/125229665/63a87cb0-3d36-40fe-938c-892cf6d9a05c) ![image](https://github.com/xorbitsai/inference/assets/125229665/79c58b22-4932-4933-a793-867ceacad102)