Yuxuan Zhang

icon indicating an email [email protected]

icon company ZhipuAI @THUDM @MetaGLM icon location China icon location I am interning at Zhipu AI @THUDM @MetaGLM , researching in LLMs, Agents, and Multimodal Models.

Results 497 comments of Yuxuan Zhang

[BUG]无法加载本地模型，会一直去找huggingface下载

要不直接在你本地模型路径后面换上绝对路径试试， 比如 "chatglm3-6b":"绝对路径”

[BUG] 使用langchain+qwen，页面上连续提问多个问题后回答异常。

那就是embedding不一定有检索到

代码后台为什么不停重连这个地址？

不应该链接这个地址，估计你在哪一步弄错了

执行web_demo.py后，显示Killed，就退出了，是不是配置不足呢？

新代码可以解决问题

[BUG]版本冲突

zhipuai 不要装

Vllm模式启动模型推理能力会下降吗，会出现问问题回答不完整甚至不返回的现象，server_config.py里面有哪些配置影响上述问题吗？另外load_format':'auto'这有哪几个配置，到哪去查看？

vllm 模型效果运行能力下降了，掉到原来的8成吧，不返回应该不对

[BUG] 多并发调用，偶尔出现因为embedding没加载而调用失败

这个框架没做并发啊

加载txt文件失败？

目前已知的是特殊字符的问题，太长的文本不影响。

[BUG] 简洁阐述问题 / Concise description of the issue

两种解决方案，一个是降级langchain- community，严格按照req装，另一个检查自己文件有没有全，大概率问题是后者，模型文件少了

[BUG] ERROR: RemoteProtocolError: API通信遇到错误：peer closed connection without sending complete message body (incomplete chunked read)

没链接上模型，看报错就是没找到模型