# 服务端
pip install "chatllm[openai]" && chatllm-run openai <本地模型地址>

• SDK：pip install openai

import openai

openai.api_base = 'http://0.0.0.0:8000/v1'
openai.api_key = 'chatllm'
prompt = "你好"
completion = openai.Completion.create(prompt=prompt, stream=True, model="text-davinci-003")
for c in completion:
    print(c.choices[0].text, end='')
# 你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你，欢迎问我任何问题。

• 客户端：点击下载chatbox，也可接入客户端

openai_keys: 不定期更新免费keys

from meutils.pipe import *
from chatllm.llmchain.applications import ChatOCR

llm = ChatOCR()
file_path = "data/invoice.jpg"
llm.display(file_path, 700)
llm.chat('识别编号,公司名称,开票日期,开票人,收款人,复核人,金额', file_path=file_path) | xprint

pip install "chatllm" && chatllm-run webui --name chatmind

pip install "chatllm[pdf]" && chatllm-run webui --name chatpdf

• python交互

from chatllm.applications.chatpdf import ChatPDF

qa = ChatPDF(encode_model='nghuyong/ernie-3.0-nano-zh')
qa.load_llm(model_name_or_path="THUDM/chatglm-6b")
qa.create_index('财报.pdf')  # 构建知识库

for i in qa(query='东北证券主营业务'):
    print(i, end='')
# 根据已知信息，东北证券的主营业务为证券业务。公司作为证券公司，主要从事证券经纪、证券投资咨询、与证券交易、
# 证券投资活动有关的财务顾问、证券承销与保荐、证券自营、融资融券、证券投资基金代销和代销金融产品待业务。

• 支持召回结果查看

• ChatGLM-6B 模型硬件需求

• 从本地加载模型
  • 安装指南
  • ChatGLM-6B Mac 本地部署实操记录
  • THUDM/ChatGLM-6B#从本地加载模型

• [ ] ChatLLM 应用

  • [x] 接入非结构化文档（已支持 md、pdf、docx、txt 文件格式）
  • [ ] 搜索引擎与本地网页接入
  • [ ] 结构化数据接入（如 csv、Excel、SQL 等）
  • [ ] 知识图谱/图数据库接入
  • [ ] 增加 ANN 后端，ES/RedisSearch【确保生产高可用】
  • [ ] 增加多级缓存缓存

• [ ] 多路召回

  • [ ] 问
    • [ ] 标量匹配
    • [x] 多种向量化，向量匹配
    • [ ] 增加相似问，换几个问法
    • [ ] 高置信度直接返回答案【匹配标准问】
  • [ ] 答
    • [ ] 高置信度篇章
    • [ ] 增加上下文信息
    • [ ] 增加夸篇章信息
    • [ ] 增加召回信息的相似信息
    • [ ] 提前生成标准问，匹配问
    • [ ] 拒绝推断

• [ ] 增加更多 LLM 模型支持

  • [x] THUDM/chatglm-6b
  • [ ] THUDM/chatglm-6b-int8
  • [ ] THUDM/chatglm-6b-int4
  • [ ] THUDM/chatglm-6b-int4-qe
  • [ ] ClueAI/ChatYuan-large-v2

• [ ] 增加更多 Embedding 模型支持

  • [x] nghuyong/ernie-3.0-nano-zh
  • [x] nghuyong/ernie-3.0-base-zh
  • [x] shibing624/text2vec-base-chinese
  • [x] GanymedeNil/text2vec-large-chinese

• [x] 增加一键启动 webui

  • [x] 利用 streamlit 实现 ChatPDF，一键启动 chatllm-run webui --name chatpdf
  • [ ] 利用 gradio 实现 Web UI DEMO
  • [ ] 添加输出内容及错误提示
  • [ ] 引用标注
  • [ ] 增加知识库管理
    • [ ] 选择知识库开始问答
    • [ ] 上传文件/文件夹至知识库
    • [ ] 删除知识库中文件

• [ ] 增加 API 支持

  • [x] 利用 Fastapi/Flask/Grpc 实现流式接口 chatllm-run openai <本地模型地址> --host 127.0.0.1 --port 8000
  • [ ] 前后端分离，实现调用 API 的 Web UI Demo