xushan116
Results
2
comments of
xushan116
@staoxiao 问一下,我在finetune的时候--use_self_distill和--unified_finetuning设置的false是不是就意味着我是dense向量微调，这个模型微调之后，我用微调的模型使用稀疏向量算相似度发现每次算的结果都不一样(怀疑是计算词权重的向量每次都是随机初始化的)，这种情况符合预期吗？ 如果我想用微调后的稀疏向量是一定得use_self_distill设置为ture且unified_finetuning设置为ture吗，就是一定得用知识蒸馏的方式吗