微调参数设置

[Powerdiao]

你好，我有以下疑问：

1. 微调时，per_device_train_batch_size设置为多少比较合适呢？
2. 若采用use_inbatch_neg，batch_size是否越大越好呢？

[staoxiao]

1. 尽量总batch size(per_device_train_batch_size*#GPUs)>64
2. 是的

[chenyunsai]

你好，我有以下疑问：

1. 微调时，per_device_train_batch_size设置为多少比较合适呢？
2. 若采用use_inbatch_neg，batch_size是否越大越好呢？

hello 你这边微调效果怎么样呀

[Powerdiao]

你好，我有以下疑问：

1. 微调时，per_device_train_batch_size设置为多少比较合适呢？
2. 若采用use_inbatch_neg，batch_size是否越大越好呢？

hello 你这边微调效果怎么样呀

我这边的数据领域性比较强，所以微调带来的性能增益还挺大的。