ahpuchend

Results 4 comments of ahpuchend

您可以解释一下这种现象吗?

我们尝试阿里gte模型来做同样的事情,发现他的base模型,也是294维度和其他维度出现同样的 sharp value. ![image](https://github.com/FlagOpen/FlagEmbedding/assets/31383929/c7bdd298-9d4f-460b-bc1e-e293a375626e)

![image](https://github.com/FlagOpen/FlagEmbedding/assets/31383929/870b097c-44f5-4296-903e-fd474cdc7ccf) 这是我们的句子 ![image](https://github.com/FlagOpen/FlagEmbedding/assets/31383929/dcc067bb-c1e1-4cc4-b769-3a8a96f83b1b) 注意到 就 单一个“好”也有这样的sharp value???

谢谢您如此迅速的回复,这是中文模型,normalize之后的结果,而且我尝试编码简短的英文“hello world”, 甚至时 空字符“ ”,都有这样的现象,英文的模型 我没有尝试。图中的直线的意思时我们把 768/ 1024每个维度的值 画了出来,线之所有分开的时我们对不同emb画的时候,为了看清楚点,减去了 i for i, emb in enumerate(doc_embs): plt.plot(emb - i) print(emb[290:295]) 我们仔细检查了代码,画的确实是不同的句子。 ![image](https://github.com/FlagOpen/FlagEmbedding/assets/31383929/5c8532f5-7f8e-4e7a-9b00-c9598d8d4ca0)