LLM-Pruner icon indicating copy to clipboard operation
LLM-Pruner copied to clipboard

为什么num_examples默认是10?

Open coderchem opened this issue 1 year ago • 2 comments

coderchem avatar Nov 27 '23 06:11 coderchem

我理解,数据应该是越多越好。为什么啥只是选择10呢?

coderchem avatar Nov 27 '23 06:11 coderchem

calibration set的数量是越多越好。但是如果数据越多,计算梯度所需要的成本和时间开销就更大(比如如果算的是hessian,所需时间会显著变长)。同时再增加数量对效果的提升较为不明显,因此我们选择了10。你也可以选择一个更大的样本集合。

horseee avatar Nov 29 '23 08:11 horseee