imClumsyPanda

@xzqiaochu 我也想能适配这种 可是目前技术还不太够搞定这个😭

@kingzeus 您好 请问您测试环境的pytorch版本和macOS版本分别是多少呢？

@NLPpupil 目前已经通过创建CustomLLM类成功实现了，后面准备发个repo

@NLPpupil 可以参考一下 https://langchain.readthedocs.io/en/latest/modules/llms/examples/custom_llm.html 和 https://gist.github.com/DamascusGit/40bf1e9fd63974a95d071e3508e3f7c3

@zhongtao93 已经改用langchain直接实现啦，晚上回去我上传一下，也实现了利用fastapi搞了个api版本的，晚上我先上传直接实现的版本。

@zhongtao93 来咯 https://github.com/imClumsyPanda/langchain-ChatGLM

同问，想实现单机多卡/多机多卡上运行

@zx2021 langchain是可以用huggingface model作embedding的

@zx2021 需要基于全开源模型的实现可以看一下这个 [imClumsyPanda/langchain-ChatGLM](https://github.com/imClumsyPanda/langchain-ChatGLM) 受这个 pull request 启发搞出来的

@Leawnn 您好 我这边也是专业领域问答，可以参考一下本地文档问答的项目 https://github.com/imClumsyPanda/langchain-ChatGLM