Diao
Results
3
comments of
Diao
> > 你好,我有以下疑问: > > > > 1. 微调时,per_device_train_batch_size设置为多少比较合适呢? > > 2. 若采用use_inbatch_neg,batch_size是否越大越好呢? > > hello 你这边微调效果怎么样呀 我这边的数据领域性比较强,所以微调带来的性能增益还挺大的。
> 1. 对的 > 2. 是的 > 3. crossEntropy目标是增大正例的概率。正例的概率是通过softmax计算得到的,负例的分数会在softmax中作为分母。因此优化正例的概率会增大正样本分数,减小负样本分数。 明白了,十分感谢!!
> 几千条大致就能微调,不过高质量数据越多越好。 好的,谢谢。请问pos和neg的数量有什么讲究吗?