Sunday

@LDLINGLINGLING 是的，微调指令是这个 CUDA_VISIBLE_DEVICES=1,3,4,5 torchrun $DISTRIBUTED_ARGS finetune.py \ --model_name_or_path $MODEL \ --llm_type $LLM_TYPE \ --data_path $DATA \ --eval_data_path $EVAL_DATA \ --remove_unused_columns false \ --label_names "labels" \ --prediction_loss_only false \ --bf16 false...

@LDLINGLINGLING 换过验证集，也不行，我的输出是一些键值对，里面有引号。在实际推理的时候结果是有的，虽然准确率一般但这是数据质量的问题。不管验证集取多少数据，都是nan。