InternVL icon indicating copy to clipboard operation
InternVL copied to clipboard

Published 20 hours ago • verified publisher icon OpenGVLab

关于40B模型与76B模型的对话模版问题

Open ghntd opened this issue 6 months ago • 0 comments

InternVL2的76B模型的基座是LLama，但是微调脚本中使用的对话模版都使用的InternLM2的风格，而40B模型虽然在微调脚本里用的Hermes-2的风格，但是其在LMdeploy中还是用的InternLM2的风格。然而我观察这两者的token id好像都不太对。请问二者在训练时应该用哪一种对话模版

ghntd avatar Aug 12 '24 06:08 ghntd