Diao

微调参数设置

1

你好，我有以下疑问： 1. 微调时，per_device_train_batch_size设置为多少比较合适呢？ 2. 若采用use_inbatch_neg，batch_size是否越大越好呢？

关于微调的问题

2

你好，想问关于以下几个问题 1. 如果有n个query，n*8个passage，即每个query都有一个正例和七个负例。每个query都会与n*8计算score吗？最后会得到一个(n, 8n)大小的scores矩阵 2. target[i]的含义是第i个query对应的正例index吗？ 3. 在计算crossEntropy时，只有正例对loss有贡献，负例相关的loss都为0吗？ ```python q_reps = self.encode(query) p_reps = self.encode(passage) if self.training: if self.negatives_cross_device: q_reps = self._dist_gather_tensor(q_reps) p_reps = self._dist_gather_tensor(p_reps) scores = self.compute_similarity(q_reps, p_reps) scores...