[QA] Internevo是否支持tied_embedding?

[Cerberous]

Describe the question.

请问 Internevo是否支持tied_embedding?有的话怎么使用呢？

[sunpengsdu]

@zigzagcai 帮忙看一下

[zigzagcai]

目前InternEvo内置的模型（InternLM/InternLM2）没有使用tied word embedding 并且，我查看了下，类似的LLaMA也没有使用tied word embedding，https://github.com/meta-llama/llama/issues/138

[divisionblur]

lm_head不和embedding一样这样的好处是什么呢？