nuggets

nuggets copied to clipboard

Could you please provide time to run the data selection process for the Alpaca dataset?

1

It shows 10 days on my side...I run it on single A800,80G

Haruka1307

能否作为一个库发布

2

- 能否作为一个pypi库发布 - 【Predefined Task Set】，设置100，【待处理指令数据集】的每个样本都需要前向推理100次，速度较慢；有没有实验设置10个是不是能达到精度要求 - 【Predefined Task Set】是否一定要从【待处理指令数据集】里选取 - 示例参数里`--prompt_path "datasets/alpaca_gpt4/alpaca_gpt4_data.json" --test_path "datasets/alpaca_gpt4/alpaca_gpt4_kmeans_100.json"`，【待处理指令数据集】被定义为prompt_path，【Predefined Task Set】被定义为test_path，交换一下参数定义是不是更好理解 - [tasks/alpaca.py#L81](https://github.com/pldlgb/nuggets/blob/master/tasks/alpaca.py#L81)，这里prefix为什么为空呢 - 默认参数跑，为什么win_rate和norm_win_rate的值是一样的

simplew2011