ChatGLM-6B icon indicating copy to clipboard operation
ChatGLM-6B copied to clipboard

Published 20 hours ago • verified publisher icon THUDM

PoC with LangChain wrapper and a webapp to chat with vector store

Open AlexZhangji opened this issue 1 year ago • 9 comments

新的webapp demo! 稍微功能复杂些的版本.

  • 增加了一个实验版的ChatGLM LangChain wrapper. (用custom llm让ChatGLM能用在各类LangChain里)

  • 增加了一个用Streamlit写的vectorstore based Chat. (搜索和选取wiki article作为context来chat)

    • 用的数据是英文维基百科中, 所有与OpenAI wiki在两个链接之内的页面 (2 degree of separation)
    • 数据储存在FAISS
    • 整体偏proof of concept, 希望能作为一个有用的例子.

运行后如图 (提供两个模式, 正常聊天的 Chat 和 与wiki source聊天的 AI Wikipedia Agent) vectorstore_chat

AlexZhangji avatar Mar 24 '23 05:03 AlexZhangji

chatglm_with_book

  • 增加了一个Chat with Books. (How to Avoid a Climate Disaster) 和与其对应的FAISS embeddings.
  • 针对LangChain的 VectorDB Chat进行了些针对中文的Prompt优化.

AlexZhangji avatar Mar 25 '23 04:03 AlexZhangji

虽然可以联网了，这很好，但是我要是有买openaiapikey的钱也不至于用chatglm还得int4

YIZXIY avatar Mar 27 '23 13:03 YIZXIY

后续可不可以出在百度 or bing这种不要key的上面检索

YIZXIY avatar Mar 27 '23 13:03 YIZXIY

@zx2021 langchain是可以用huggingface model作embedding的

imClumsyPanda avatar Mar 27 '23 14:03 imClumsyPanda

好活！ 移植其他embeddings参考：https://python.langchain.com/en/latest/reference/modules/embeddings.html

l15y avatar Mar 28 '23 01:03 l15y

@zx2021 需要基于全开源模型的实现可以看一下这个 imClumsyPanda/langchain-ChatGLM 受这个 pull request 启发搞出来的

imClumsyPanda avatar Mar 31 '23 12:03 imClumsyPanda

基于这个思路实现的平台：https://github.com/l15y/wenda 采用开源模型替代

l15y avatar Mar 31 '23 13:03 l15y

可以不可以爬一下github或者gitee，充实模型的代码能力，作为代码辅助工具可以更强？

ZanoZ avatar Mar 31 '23 14:03 ZanoZ