下游任务接分类器问题

[smallblue12138]

hello,我现在利用bge_m3模型向量化文本然后接入一个分类器做文本分类,利用稠密向量已经实现了.但是现在利用混合向量由于bge输出的是 len(seq) * 1024的多维向量,这个在输入神经网络的时候有什么解决方法吗

[staoxiao]

分类任务建议只用单个稠密向量，或者直接微调bge-m3模型。 如果要在下游网络上处理变长序列len(seq) * 1024，一个简单的做法是所有向量都进行一次预测，把分数平均一下。