Jimmy_L
Jimmy_L
> 用deepseek-110k做finetune的效果咋样 我只做了finetune，没有强化学习。调完基本也能模仿think的方式进行思考吧，批量测试时候发现偶尔会遇到复读机状态。
Same problem, I use 1.8.1 version now, some times reasoning model will repeat the json schema in thinking part then output the final json in answer, but dify extract the...
同样的问题，我直接用vllm0.7.2 ‘vllm sreve’ 跑deepseek-Qwen-Distill-32B无量化版是有完整标签的，但是用xinference里面用vllm0.7.2，就会缺标签。
所以应该怎么解决？我用的是zhipuai。