imClumsyPanda

支持.txt，不支持. txt cristianohello ***@***.***>于2023年4月14日 周五17:43写道： > [image: JppHrGOWFa] > > > — > Reply to this email directly, view it on GitHub > , or > unsubscribe > > ....

@luieswww 我这边类似的使用场景有测试过非微调的解决方案 主要是基于本地文档的问答，可以参考 [langchain-ChatGLM](https://github.com/imClumsyPanda/langchain-ChatGLM) 好处是不需要再做训练，局限性是文本分段、匹配如果效果不好会影响回答效果。

运行api.py后可以访问“服务器ip:端口号/docs”如“192.168.1.1:7681/docs”，会有接口说明、测试方法等。 winie-hy ***@***.***>于2023年5月4日 周四18:04写道： > 加1 > > — > Reply to this email directly, view it on GitHub > , > or unsubscribe > > . > You are...

填本地知识库名称 cristianohello ***@***.***>于2023年6月2日 周五18:48写道： > > app.websocket("/local_doc_qa/stream-chat/{knowledge_base_id}")(stream_chat)中的knowledge_base_id应该填什么？？？ > > curl -X 'POST' > 'http://127.0.0.1:8000/local_doc_qa/stream-chat/{knowledge_base_id' > -H 'accept: application/json' > -H 'Content-Type: application/json' > -d '{ > "knowledge_base_id": "aaaaaaaaaaaaaaaaaaa", > "question":...

@cristianohello 向量库名称，目前默认选用faiss所以对应vector_store路径下文件夹

把.cuda()去掉就行

已新增 cuda、mps 的可用检测，如两类均不可用则自动将 embedding 和 llm 修改为在 cpu 上运行。 如果需要在 amd 显卡上运行，请先确认 torch 是否支持 amd 显卡加速，如果支持可以在后续版本中增加自动判断。

可能可以通过每个卡部署一个chatglm模型，并单独执行一个api，再通过消息队列分配到各卡执行的方式避免并发消息的等待处理时长过长


这个包似乎并不是所有系统中都需要的，可以考虑增加个系统版本对应的requirements.txt，并增加这个依赖包