关于向量的可解释性问题

[Gladiator566]

您好，非常棒的工作，我一直在使用bge系列模型，但目前有一个疑问，就是是否可以得知原文本中哪些关键词片段对于最终embedding表征的贡献是最大的？是否可以引入关键词权重的信息，人工的去控制感兴趣部分的关键词片段在生成embedding向量时具有更高的权重呢？请问咱们是否有过这方面的研究或者好的参考建议，谢谢！

[staoxiao]

Thanks for your feedback~ Embedding models are a black box, so it‘s difficult to finely control the generation process of embedding. One possible way to let the model pay more attention to keywords is to add the keywords to the beginning of the sentence. For example: 关键词-1 关键词-1 关键词-2 关键词-2 原始文章

[CarllllWang]

您好，您的工作，我一直在使用bge系列模型，但目前有一个疑问，就是是否可以得知原文本中哪些关键词片段最终对于嵌入表征的贡献是最大的？ 是否引入关键词权重的信息，人工的去控制感兴趣部分的关键词片段在生成嵌入时具有更高的权重呢？请问大家是否有过这方面的研究或者好的建议参考，谢谢！ 您好，请问您是否有了这个问题的解决方法？我也遇到了相似的问题，如何让模型更为关注query或passage中的某些部分