xiaosibai

请问 powerInfo 是基于哪个版本的 llama.cpp 做扩展的？原始的外层接口是否有修改？和 llama-cpp-python是否兼容？

接口层面应该是可以兼容的，模型不一致不影响不影响接口层面的。

这里的 models/ReluLLaMA-13B/ggml-model-f16.gguf 是由 SparseLLM/ReluLLaMA-13B (https://huggingface.co/SparseLLM/ReluLLaMA-13B) 使用 llama.cpp 的 convert.py 转换得到的，在 llama.cpp 上 测试是可以正常运行的，在 PowerInfo 上会出现 coredump。PowerInfer/ReluLLaMA-13B-Predictor](https://huggingface.co/PowerInfer/ReluLLaMA-13B-Predictor) 这个model 在 powerInfo 上测试是可以正常运行的。

哦哦，理解了。也就是说 ReluLLaMA-13B 这个model 目前只有在和 predictor weights 一起经过 powerInfo 的 convert.py 之后才能运行。 目前的 powerInfo 和 llama.cpp （ llama.cpp 可以跑，但是流程有问题）对 original ReluLLaMA-13B 都不支持。powerInfo 需要对稠密激活 Llama 模型做兼容适配。

请问 PowerInfer/ReluLLaMA-13B-PowerInfer-GGUF（https://huggingface.co/PowerInfer/ReluLLaMA-13B-PowerInfer-GGUF 这个 model 对应的 chat 模板是什么？（不是 Alpaca 系列模板？）原始模型对应着哪个具体版本（meta llama）？