RiverZhou

I have exactly the same issue

You should install QT with msvc.

Same problem.

转llama的时候，layer_num参数怎么设置，是用默认（12层）么？

> 期待作者给出 ChatLLaMA-zh-7B 到 ChatLLaMA-zh-7B-hf的转换脚本,在线等 其实能直接转llama我很合用，因为我是用llama.cpp

> 转llama的时候，layer_num参数怎么设置，是用默认（12层）么？ 自己回答自己的问题。7B的模型是32层，13B的模型是40层。 如有错误请大家指正。

> @riverzhou 请问llama.cpp你是如何运行的？ 先用 TencentPretrain 项目里的转换脚本把作者的腾讯格式的数据转成原始的 llama 的格式（layer_num参数：7B的模型是32层，13B的模型是40层。）， 再用 llama.cpp 项目里 转换脚本转成 ggml 的格式， 最后，可选做量化，Q4 Q5 Q8都可以。

Use sudo to run main

hi,have you solved this problem?thanks

Waiting for int8 quantization....