ChatGLM-Tuning

ChatGLM-Tuning copied to clipboard

NameError: name 'init_empty_weights' is not defined

1

xiamaozi11

在colab上报错ModuleNotFoundError: No module named 'modeling_chatglm'

1

--------------------------------------------------------------------------- ModuleNotFoundError Traceback (most recent call last) [](https://localhost:8080/#) in 1 from transformers import AutoTokenizer, AutoModel, TrainingArguments, AutoConfig ----> 2 from modeling_chatglm import ChatGLMForConditionalGeneration 3 import torch 4 import torch.nn as...

linkerlin

finetune完之后又进行效果评估吗？

6

Thx for the codes. 已知chat-glm有进行finetune过，在当前数据上继续finetune输出结果体感如何？有进一步的改善吗？

zhhongzhi

output中存下的checkpoint怎么用

1

请问微调时候，Trainer存下的checkpoints是没用吗？要等所有数据微调完才能存lora.pt去微调吗

EnghishYang

加载模型该用哪个pt文件

1

如果是在训练过程中的中间文件，并没有chatglm-lora.pt文件，那么在加载模型的时候，需要加载哪一个文件呢？

foreverxujiahuan

infer的时候使用int8报错

3

infer的时候（load_in_8bit=True）： expected scalar type Float but found Half 另外我怎么用int8和int4呢，我只有1080ti，显存不够； 多谢多谢！

June-Li

bs设置为1和3的时候，loss都是0， 是哪里有问题吗？

14

{'loss': 0.0, 'learning_rate': 1.9e-05, 'epoch': 0.15} {'loss': 0.0, 'learning_rate': 1.8e-05, 'epoch': 0.3} {'loss': 0.0, 'learning_rate': 1.7e-05, 'epoch': 0.45} {'loss': 0.0, 'learning_rate': 1.6000000000000003e-05, 'epoch': 0.6} {'loss': 0.0, 'learning_rate': 1.5000000000000002e-05, 'epoch': 0.75}...

phantommlin

jsonl文件如何处理获得

1

请问如何将json文件处理为jsonl文件的呢，能分享一下处理脚本吗？

Mr-lonely0

关于微调代码的疑问

3

源代码如下： ``` class ModifiedTrainer(Trainer): def compute_loss(self, model, inputs, return_outputs=False): return model( input_ids=inputs["input_ids"], attention_mask=torch.ones_like(inputs["input_ids"]).bool(), labels=inputs["input_ids"], ).loss ``` 疑问1：这里的attention mask不应该是下三角或者unilm那种吗？ 疑问2：这里的labels不需要把一部分设置为-100吗？

DunZhang

finetune的时候加上 --fp16报错，RuntimeError: expected scalar type Half but found Float

11

phantommlin