PyTorch_CoSENT

PyTorch_CoSENT copied to clipboard

询问损失函数值

2

就是问一下，使用 cosent 这个损失函数，最后会收敛到多少呢？或者说收敛情况如何呢？我发现我这里训练半个 epoch 就很难继续去收敛了。 我的数据集是，20万对 0-1 样本，10万正，10万负。使用的 chinese-roberta-wwm-ext 微调，下游任务是 last hidden state 经过 max pool 、全连接和 normalization 后的 128 维度向量尽可能接近。 其他参数的话，16 bacth，2e-5 的学习率并 torch OneCycleLR 调整（类似 Warmup ），训练 5...

muyuuuu