能否作为一个库发布

[simplew2011]

• 能否作为一个pypi库发布
• 【Predefined Task Set】，设置100，【待处理指令数据集】的每个样本都需要前向推理100次，速度较慢；有没有实验设置10个是不是能达到精度要求
• 【Predefined Task Set】是否一定要从【待处理指令数据集】里选取
• 示例参数里--prompt_path "datasets/alpaca_gpt4/alpaca_gpt4_data.json" --test_path "datasets/alpaca_gpt4/alpaca_gpt4_kmeans_100.json"，【待处理指令数据集】被定义为prompt_path，【Predefined Task Set】被定义为test_path，交换一下参数定义是不是更好理解
• tasks/alpaca.py#L81，这里prefix为什么为空呢
• 默认参数跑，为什么win_rate和norm_win_rate的值是一样的

[simplew2011]

--model_type local --model_path /data1/xhj/llm/Llama-2-7b-hf

ValueError: Trying to set a tensor of shape torch.Size([32000, 4096]) in "weight" (which has shape torch.Size([32001, 4096])), this looks incorrect.

[simplew2011]

• 切换transformers==4.28.1，使用daryl149/llama-2-7b-chat-hf，预测发现结果和alpaca_gpt4_sorted_score_sample_100_kmeans.json里的socre不对应

• --prompt_path alpaca_gpt4_sorted_score_sample_100_kmeans.json --test_path "datasets/alpaca_gpt4/alpaca_gpt4_kmeans_100.json"