yangyyj
Results
1
issues of
yangyyj
我在configuration中增加了8B的选项，然后运行./demo_llama3 对llama-3.1-8b进行推理时仍然会出现错误 输出如下 部分问题输出的是乱码，部分问题能够正常进行回答 请问还需要对哪些部分进行修改吗 我初步排查不是量化的问题，因为我使用fp32未量化的模型进行推理同样会出现上述错误