FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

Published 20 hours ago • verified publisher icon FlagOpen

关于LLaRA的loss疑问

Open zhaobinNF opened this issue 1 year ago • 1 comments

您好，你们的LLaRA工作太棒啦。不过对于里面的loss我有一些疑问。这里的W是指embedding矩阵还是由0/1组成的表明位置的矩阵。loss的意义是使得输出的向量距离原始文本/下一句所有token的向量距离之和最近吗？

zhaobinNF avatar Jan 05 '24 01:01 zhaobinNF

loss是通过logits来进行计算的，通过bag of words的方式，预测句子本身/下一句所包含的tokens所在的位置的logits的概率增加

545999961 avatar Jan 09 '24 11:01 545999961

image 您好，请问这里的loss公式是不是应该max呢？从原理来说我们期望产出的emb和bow的tokens相似度越大越好，那感觉应该是max？

hahlw avatar Jun 12 '24 10:06 hahlw