Old-Lan

The vocab size of the sentence encoder is 50256, but the vocab size of the generator is 30522. This will cause the index out of range. The code is follow:...

训练过程中src_token_embedding出现nan

1

你好，我把数据集换成中文后，训练过程中src_token_embedding结果就会出现部分nan。我跟着[网上](https://blog.csdn.net/mch2869253130/article/details/111034068)找的排查思路，并没有解决问题，所以想问下，src_token_embedding出现nan还会受到哪些影响。

您好，代码109-115以及130行没有理解，能否帮忙解释一下这几行代码的意义？

1

`kw_con_logits = self.kw_con_classifier( self.dropout(torch.cat([all_kw, sep_kw, all_con, sep_con], 0)) )` `kw_con_labels = torch.cat([labels.new_ones(all_kw.size(0) * 2), labels.new_zeros(all_con.size(0) * 2)], 0).float()` `kw_con_loss = F.binary_cross_entropy_with_logits(kw_con_logits.view(-1), kw_con_labels.view(-1))`