CRGBS

量化方法不同 可以考慮用llamacpp能運行的ggml版本

> `J:\GPTAI\CNAPL`下有哪些文件？ ``` j:\GPTAI\CNAPL\adapter_config.json j:\GPTAI\CNAPL\config.json j:\GPTAI\CNAPL\generation_config.json j:\GPTAI\CNAPL\pytorch_model.bin.index.json j:\GPTAI\CNAPL\pytorch_model-00001-of-00003.bin j:\GPTAI\CNAPL\pytorch_model-00002-of-00003.bin j:\GPTAI\CNAPL\pytorch_model-00003-of-00003.bin j:\GPTAI\CNAPL\special_tokens_map.json j:\GPTAI\CNAPL\tokenizer.model j:\GPTAI\CNAPL\tokenizer_config.json ``` adapter_config是ChineseAlpacaPlusLora13b內的adapter_config複製過來的

> 1、Alpaca-Plus-LoRA无法直接通过inference_hf.py加载，需要先进行模型合并。 2、如果你的`J:\GPTAI\CNAPL`已经是合并后的模型了，就不要以lora方式传入了，只需要指定base_model。 > > 仔细阅读一下Wiki：[https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/使用Transformers推理](https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/%E4%BD%BF%E7%94%A8Transformers%E6%8E%A8%E7%90%86) 感謝回復 由於base以及lora model搞混才導致今次的錯誤

是llama.cpp 確實第一個問題也被拒答了

還是說其實你想要把兩個專案的權重合併起來(瞎猜

i am try fix it on examples/starcoder/main.cpp line 849 add: ``` else if (model.hparams.n_layer >= 40 && embd.back() == 49155) { //TODO: this is only for starcoderalpha break; } ```

> > i am try fix it on examples/starcoder/main.cpp line 849 add: > > ``` > > else if (model.hparams.n_layer >= 40 && embd.back() == 49155) { //TODO: this is...

[PR246](https://github.com/ggerganov/ggml/pull/246) solve it

@marella ur look like better

新版llamacpp貌似有支持了