Lucas Luo
Results
3
comments of
Lucas Luo
就模型结构而言，qwen2.5==qwen2，我已经跑起来了
pytorch是可以的，turbomind或许需要适配，你可以尝试直接改代码底层，看能不能让引擎将qwen2.5认成qwen2
目前已经解决了问题，首先将hf模型转化为custom模型，使用官方的脚本，然后进行量化；（要修改transformers和datasets版本） 但是量化后推理效果非常之离谱，尽管格式学对了，可推理的值像随机填写的一样，是不是量化时对齐的数据集要进行修改？