juniper
Results
3
issues of
juniper
在最新版本的lmdeploy/serve/qos_engine/qos_engine.py第82行看起来应该是stream_response=True而不是源码中的true，不然true会被赋值给gen_config，导致报错。
我现在想要测试我的微调模型在lmdeploy框架下的性能指标，因此我非常需要lmdeploy推理框架进行稳定且一致的生成。我将api_server.py用于提供随机采样的random_seed 参数固定了下来，并且将温度设为0.01。我观察到这样的设置在串发请求下可以得到稳定的输出，然而当我进行异步并发测试时发现生成结果会有微小的变化。我想请教一下我该如何得到稳定的输出。
InternVL2的76B模型的基座是LLama，但是微调脚本中使用的对话模版都使用的InternLM2的风格，而40B模型虽然在微调脚本里用的Hermes-2的风格，但是其在LMdeploy中还是用的InternLM2的风格。然而我观察这两者的token id好像都不太对。请问二者在训练时应该用哪一种对话模版