winintel.com

[BUG/Help] <title> 用官方例子训练之后反而不如原先的，哪里错了吗？

1

### Is there an existing issue for this? - [X] I have searched the existing issues ### Current Behavior  用官方例子训练之后反而不如原先的，哪里错了吗？ 实现不了 官方的结果 ### Expected Behavior https://github.com/THUDM/ChatGLM-6B/blob/main/ptuning/README.md 例子 示例1 Input:...

怎么启动 问答 写信 写代码 等功能？用什么命令行？以及什么prompt?

4

 ./main -m ./zh-models/7B/ggml-model-q4_0.bin -n 256 --repeat_penalty 1.0 --color -i -r "User:" -f prompts/chat-with-bob.txt chat 貌似用以上的命令就可以（里面都是英文的例子，是否要换成中文的），但 其他的命令好像没找到 怎么启动 问答 写信 写代码 等功能？用什么命令行？以及什么prompt?

请问是否需要用到向量数据库？以及什么时候需要用到向量数据库？

1

目前用的是 text2vec ， 请问是否需要用到向量数据库？以及什么时候需要用到向量数据库？

创建保存的知识库刷新后没有出来，这个知识库是永久保存的吗？可以连外部的 向量知识库吗？

2

创建保存的知识库刷新后没有出来，这个知识库是永久保存的吗？可以连外部的 向量知识库吗？ 问了2轮就爆显存了（已调小 topK 和 轮数），这个要对外稳定服务的话至少需要多大显存，会不会经常死机？

fess不能模糊查找？4个字的关键词返回都是空了，不能相似匹配吗？

ubuntu 源码运行openai模型 如何启动 bing模式？ 谢谢

ChatGLM模型微调问题咨询

34

 运行 /ChatGLM-6B/textgen/examples/chatglm$ python predict_demo.py 报错，glm6B模型用的是 原版， lora 微调模型 用的是 git clone https://huggingface.co/shibing624/chatglm-6b-csc-zh-lora 报错 (pt) ubuntu@youran-gpu21:~/ChatGLM-6B/textgen/examples/chatglm$ python predict_demo2.py 2023-04-14 11:47:33.176 | DEBUG | textgen.chatglm.chatglm_model:__init__:98 - Device: cuda Explicitly passing a...

I have gpu and I expect to run model faster, but your code is only for cpu? how to change it?

2

as for the quesiton: Requirements GPU is not used and is not required. I have gpu and I expect to run model faster, but your code is only for cpu?...

use other pdf will raise error

1

File "/home/ubuntu/.local/lib/python3.8/site-packages/llama_cpp/llama.py", line 506, in _create_completion prompt_tokens: List[llama_cpp.llama_token] = self.tokenize( File "/home/ubuntu/.local/lib/python3.8/site-packages/llama_cpp/llama.py", line 189, in tokenize raise RuntimeError(f'Failed to tokenize: text="{text}" n_tokens={n_tokens}') RuntimeError: Failed to tokenize: text="b" ### Human:Use the...