doublnt
doublnt
您好，感谢您的建议。我们将会在后续版本中增加重载异步方法。
https://huggingface.co/decapoda-research/llama-7b-hf 这个是源模型， 命令如下： `python .\mergellama.py --base_model ..\models\llama-7b-hf\ --lora_model ..\models\chinese_alpaca_plus_lora_7b\ --output_type pth --output_dir .\output` ` python .\convert.py .\zh-models\7B\ ` 几种量化都试过，全都是 输出 ##### `.\build\bin\Release\quantize.exe .\zh-models\7B\ggml-model-f16.bin .\zh-models\7B\ggml-model-q4_0.bin q4_0` `.\build\bin\Release\main.exe -m zh-models/7B/ggml-model-q4_0.bin --color -p...
我最开始就是两个一起合并的，llama 放在前面，然后 alpaca 放在后面，量化后还是 ###，我现在重新再合并一次试下， llama.cpp 我是用的最新 main 分支上重新本机带上 cuda 编译的。
我重新两个模型合并，然后量化成 8_0 的，使用如下： `.\build\bin\Release\main.exe -m zh-models/7B/ggml-model-q8_0.bin --color -f .\prompts\alpaca.txt -ins -b 16 -c 512` 还是一直输出的#，请问下这个可以从哪些方面排查额？
两个sha256 都对不上。。。难道是我的源 llama 7b hf 的就有问题？？？
这四个都试了下，全都不行，全都是输出 ### , 我用 wsl2 试了下， 好像也是一样的效果。 llama.cpp 是最新分支 编译的。感谢您百忙中帮我解答，我再研究下，谢谢了。
@ymcui 大佬，我搞定了，是我源llama-7b-hf 文件下载的有问题，和环境没有关系， windows11 下 powershell 能直接跑的。 十分感谢提供的解答建议。
it possible u haven't give enough memory to wsl2. after i change the config to follow, it sloved and run successful. ```config # Settings apply across all Linux distros running...
应该只要16g吧，我本地电脑转换大概10分钟不到就转好了。