文本匹配任务使用longformer能使用交互型模型吗

[Finnyhudson]

使用交互型模型感觉会长出长度限制导致后一文本被切断

[ValkyriaLenneth]

确实是这样, longformer即便是long, 也只不过是把输入长度扩展到1K,4K而已

[Finnyhudson]

如果是使用双塔式模型，可以直接使用两文本的[CLS]进行相似度计算吗

[ValkyriaLenneth]

双塔模型我没有用过, 但是[cls]作为表征整个文本的向量,是可以用来相似度计算的.

[Finnyhudson]

好的 感谢

[Finnyhudson]

再请问下您的代码环境是什么样的（torch+cuda版本和tranformer版本），之前allenai的原版transformer版本过高会导致forward报错，需要降到3.x

[ValkyriaLenneth]

我记得transformer是3.2 torch1.1 cuda 11, 不过只要模型没问题, 参数直接加载就行? forward报错的话,可能API有变动

[Finnyhudson]

好的 再次感谢

[Finnyhudson]

不好意思 又打扰了 如果我想只用1024的长度来跑的话 是直接把dataset的长度固定为每个样本都为1024的长度还是说在模型的config里面去修改

[18410080631]

请问这个模型的tokenizer应该用什么