Yuxuan Zhang

icon indicating an email [email protected]

icon company ZhipuAI @THUDM @MetaGLM icon location China icon location I am interning at Zhipu AI @THUDM @MetaGLM , researching in LLMs, Agents, and Multimodal Models.

Results 497 comments of Yuxuan Zhang

请教加载模型出错！？

由于该issue长期不活跃，开发组将其关闭，如果有需求可以重新提起

[BUG] 开启vllm加速后，客户端多并发调用服务时，出现Connection broken: InvalidChunkLength报错

这个项目没有做并发。相关问题需要自己兼容

Nr. of devices needed

same issue even all requirements install. I am using 8 GPUs

Nr. of devices needed

> same issue even all requirements install. I am using 8 GPUs I change it to 8 x A100 GPU and it cost 65G memory in per GPU to run...

[BUG] 简洁阐述问题 /怎么加载ChatGLM-6B微调出来的模型

查看wiki

知识库问答，提问同一个问题，第一次问无法回答，第二次问才能正确回答

可能你问的太快了，第一次需要启动embed模型

现在在上传文件到知识库的时候想对文件进行标记，该如何做呢？

没有做这个功能

Agent 不会调用工具

0.3.x会重新做，这个agent太老了，我是在写这个部分的

[BUG] 在使用知识库问答的时候，上传文档，出现了错误，

paddle ocr读取图片的bug，没发处理

当我启用api时，送入文本过长时程序会报错，返回空值。

因为超过了4096 token，你要在model config或者对应请求api调整max token， 比如zhipu只有4096 如果你上传的内容和提问超过4096就无法回答