jiyif11

> 兄弟这个问题你解决了吗，我也是，单卡是可以的，双卡就没法加载vicuna 还没24G双卡，过几天换48G看看

> 有解决方案吗？ 同样问题

同样问题 老哥双卡能加载vicuna13吗？最终问题如何解决？

> > 当我开启fastchat的vicuna-13b的api服务，然后config那里配置好(api本地测试过可以返回结果)，然后知识库加载好之后(知识库大概有1000多个文档，用chatGLM可以正常推理)，进行问答时出现token超过限制，就问了一句hello； > > 错误号如下：openai.error.APIError: Invalid response object from API: '{"object":"error","message":"This model's maximum context length is 2048 tokens. However, you requested 2359 tokens (1847 in the messages, 512 in...

有空我试试