LLM-Pruner
LLM-Pruner copied to clipboard
为什么num_examples默认是10?
我理解,数据应该是越多越好。为什么啥只是选择10呢?
calibration set的数量是越多越好。但是如果数据越多,计算梯度所需要的成本和时间开销就更大(比如如果算的是hessian,所需时间会显著变长)。同时再增加数量对效果的提升较为不明显,因此我们选择了10。你也可以选择一个更大的样本集合。