CogVLM icon indicating copy to clipboard operation
CogVLM copied to clipboard

Published 20 hours ago • verified publisher icon THUDM

sat 模型中的 lm_head 和 transformer.word_embeddings 有什么区别

Open GondorFu opened this issue 1 year ago • 0 comments

transformer.word_embeddings 在代码中的功能是计算最开始将token id转成embedding，最后输出计算token的feature相似度 lm_head呢？没找到具体的使用位置

GondorFu avatar Sep 24 '24 02:09 GondorFu