xiamaojin
xiamaojin
我的每次都是同一个结果negative
> > 我测试了你的程序，但是从相同的模型文件加载进来的模型，每次对同一个文本进行分类得到的结果都会有变化，在随机数seed设置相同的情况下，这个可能是什么原因呢？ > > 请问你有修改代码吗？为什么测试数据集的时候预测结果都是一样的呢？ 可以了，正常版本升级修改代码
a100 80G*2，OOM deepspeed --num_gpus=2 --master_port $MASTER_PORT main.py \ --deepspeed deepspeed.json \ --do_train \ --train_file ../data/2w.csv \ --test_file ../data/2k.csv \ --prompt_column prompts \ --response_column output \ --overwrite_cache \ --model_name_or_path ../chatglm-6b \...
demo样例 from modeling_chatglm import ChatGLMForConditionalGeneration from tokenization_chatglm import ChatGLMTokenizer import gradio as gr model_path= r'chat-GLM' #tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) #model = AutoModel.from_pretrained(model_path,trust_remote_code=True).half().cuda() tokenizer = ChatGLMTokenizer.from_pretrained(model_path, trust_remote_code=True) model = ChatGLMForConditionalGeneration.from_pretrained(model_path,trust_remote_code=True).half().cuda() model...
/data1/data/data/xia/2023/chat_glm/modeling_chatglm.py in __call__(self, input_ids, scores) 52 if torch.isnan(scores).any() or torch.isinf(scores).any(): 53 scores.zero_() ---> 54 scores[..., 20005] = 1e5 55 return scores 56 RuntimeError: value cannot be converted to type at::Half...
3090 cuda11.1 torch1.13.1，我这边好像两台3090都是这样子的
好像不是硬件问题，我换了个autodl的a40也是这样的问题