LLaRA是用大模型LLM来做embedding吗？

[mechigonft]

同上，常规的embedding，基座模型是encoder模型，LLaRA是准备用LLM来做embedding吗？召回速度是否会有影响，因为LLM模型参数量越大，响应速度越慢，是否会降低embedding的效率

[staoxiao]

是的，LLaRA是使用LLM生成embedding的一次尝试。LLM由于参数庞大，推理速度相比BGE会很慢。

[passionate11]

请问llara相关训练代码会考虑开源吗？

[545999961]

感谢对我们工作的关注，我们会在近期开源llara的训练代码