Is it possible to evaluate while training

[abc20220327]

我看到 run_finetune_with_lora_save_aggregated_weights.sh中 有以下参数

--do_train
--do_eval
--evaluation_strategy "steps"
--eval_steps 1000
--eval_dataset_path ${eval_dataset_path} \

是否可以 修改 run_finetune_with_lora.sh 加入上述参数，从而实现一边训练一边评估

我尝试了下，抛以下错误：

能否解惑，谢谢！

[Dominic789654]

需要你安装sklearn包。可以尝试安装一下 pip install scikit-learn==1.2.2

[abc20220327]

非常感谢，可以用了 @Dominic789654 ，不过我看到 之前有个 帖子 https://github.com/OptimalScale/LMFlow/issues/218 ，提到他们目前放弃了 这种 eval 的方案，可是我试用了下还是可以输出 验证集的Loss的，你知道为什么吗 @shizhediao

[shizhediao]

我们当前的代码支持了输出验证集loss的方案。之前提到的是旧的方案，可以忽略

[shizhediao]

This issue has been marked as stale because it has not had recent activity. If you think this still needs to be addressed please feel free to reopen this issue. Thanks