bert-utils 关于输出句向量维度的问题。768->128

关于输出句向量维度的问题。768->128

Open XGodLike opened this issue 4 years ago • 3 comments

我的场景是两个文本的相似度，思路是：微调后，抽取的最后一层池化作为了句向量，用余弦来计算相似度。是768维的，效果还可以，后来因为有个需求需要降低到128维，我直接在768维后面接了一个全连接降到128维了。但是效果就不好了....是不是这种方式不可行？

Apr 05 '20 13:04 XGodLike

同问

Jun 15 '20 12:06 fanruifeng

@XGodLike 你好，请问这个问题你解决了吗？直接接全连接层可行吗？

Jun 22 '22 17:06 Lich-King000

encoder之后,将输出层进行均值操作,在接全连接层, 你自己设计你的解码操作, 两个输入和输出,共享这个编码层,最后组件一个余弦相似度模型层,试试

Jun 23 '22 02:06 fanruifeng