eval-scope icon indicating copy to clipboard operation
eval-scope copied to clipboard
verified publisher icon modelscope

微调模型评测&自建评测数据集

Open HaltonJiang opened this issue 1 year ago • 1 comments

1、请问针对lora微调之后但没有合并的大模型，如何加载checkpoint进行评测呢？ 2、支持自定义评测数据集进行评测吗？如何操作呢？或对格式有什么要求吗？

HaltonJiang avatar May 26 '24 02:05 HaltonJiang

  1. 微调后的模型可以使用 ms-swift 集成的eval能力进行评测，指定 --ckpt_dir 参数 参考： https://evalscope.readthedocs.io/zh-cn/latest/best_practice/swift_integration.html#id3

  2. 自定义评测数据集教程参考：https://evalscope.readthedocs.io/zh-cn/latest/advanced_guides/custom_dataset.html

Yunnglin avatar Aug 27 '24 07:08 Yunnglin

1、请问针对lora微调之后但没有合并的大模型，如何加载checkpoint进行评测呢？ 2、支持自定义评测数据集进行评测吗？如何操作呢？或对格式有什么要求吗？

同学你搞定了吗

128veg80 avatar Mar 10 '25 11:03 128veg80