ChatGLM3

ChatGLM3 copied to clipboard

readablity -> readability

eltociear

### Feature request / 功能建议 请教下 当前 有 vllm 和 TensorRT-LLM 的推理性能对比么？ ### Motivation / 动机 能否提供下 推理部署的最佳实践？ ### Your contribution / 您的贡献 非常感谢

tanguofu

微调base模型时，在Sanity Check后出现checkpoint-None

3

### System Info / 系統信息 python3.10 transformers4.36.2 torch 2.1.2 torchvision 0.16.2 ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [ ] The official example scripts...

gms5144

lora跑出来的文件，lora_path指定哪个，没有后缀checkpoint文件

1

### System Info / 系統信息 lora跑出来的文件，lora_path指定哪个，没有后缀checkpoint文件 ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [X] The official example scripts / 官方的示例脚本 - [ ] My...

haozaiiii

使用langchain官方的LLMChain样例报404错误

5

### System Info / 系統信息 cuda:V11.8.89 python:3.8.10 transformers:4.36.0 ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [x] The official example scripts / 官方的示例脚本 - [...

jjbiji

这些问题不要在Issue提出，在Discussion中提出

29

以下问题不要在issue中提出，因为： 1. 这个问题是模型的上的功能缺失或者bad case 2. 官方暂时不能解决这个问题 如果你遇到以下问题，请你在Discussion中提出具体的 bad case，这些问题在本版本模型难以解决，更多的bad case将能帮助我们优化出更好的模型。 #393 模型运行的 CUDA error: device-side assert相关问题 #212 工具调用混乱，一些场景被训练为调用工具 #335 多轮对话无法实现正常工具调用 #306 在持续进行对话时候GPU 内存占用飙升 #310 多卡推理不正常,乱码相关问题 #225 中英文混合输出，输出会带英语单词 以下问题，如果非官方代码和官方硬件上的报错，请也在Discussion中提出 #251 Mac环境下的配置和环境准备...

zRzRzRzRzRzRzR

### Feature request / 功能建议 对于基于Decode结构的大模型,我有一个想法,但由于客观原因我无法进行实验. 我想数据在各层Decode之间传递,经过训练后各层的输出之间是否也会有一种更高一阶的特征抽象, 如果会有,那么我想是否可以添加一个对这一抽象的捕捉模块. 比如,将每个或多个Decode层的输出拼到一起, 做为一个或各个线性或其它网络层的输入,并将其输出拼接或以权重叠加到最后一个Decode层的输出上, ### Motivation / 动机 我是一个普通程序员,从事也算和AI相关的工作, 之前了解过bert, 最近在看大模型及chatglm相关的资料及做一些小测试, 感觉现在的大模型,基础本能不足,比如更高一层的抽象能力, 比如,人类对于一个苹果的识别,无论这个苹果是大的小的红的青的还是画在纸上的无颜色的甚至没有见过的某个品种的苹果,人类能很容易识别出来,我想可能是人类有更高层次的抽象能力, 所在想让大模型还有这种能力,所在就想到是不是可以捕捉各decode层的输出之间某些特征,或各层输出之间的对比特征, 但客观条件下,本人只有这个想法,没有条件去做这样的实验,所以希望有条件感兴趣的人可以试试, ### Your contribution / 您的贡献 https://github.com/THUDM/ChatGLM3/

smd-1886

Running Prediction

3

### Feature request / 功能建议 Running Prediction这个作用是什么，预测的效果如何看到呢， ### Motivation / 动机 看不到预测的效果 ### Your contribution / 您的贡献 无

sleep-zzw-bot

composite_demo 代码解释器 无法生成 图片

1

### System Info / 系統信息 Python3.10 ### Who can help? / 谁可以帮助到您？ @abmfy ### Information / 问题信息 - [X] The official example scripts / 官方的示例脚本 - [ ] My own...

Aike505

128k的模型使用lora微调后，进行推理的时候卡住怎么回事？

3

### System Info / 系統信息 cuda 11.7，t4卡，pytorch版本“1.11.0+cu113” ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [x] The official example scripts / 官方的示例脚本 - [ ]...

dazzlingCn