能不能以一个简单的路径举例如何设置运行指令 我按自己的理解设置指令后得到的报错提示。

[lzhfdwu007]

我的模型名是dolphin-2.9-llama3-8b-q8_0.gguf 路径是"D:\Gitruanjian\LM-Studio\models\cognitivecomputations\dolphin-2.9-llama3-8b-gguf\dolphin-2.9-llama3-8b-q8_0.gguf" 然后指令测试了 streamlit run deploy/web_streamlit_for_v1.py D:\Gitruanjian\LM-Studio\models\cognitivecomputations\ --theme.base="dark" streamlit run D:\Gitruanjian\LM-Studio\models\cognitivecomputations\dolphin-2.9-llama3-8b-gguf\dolphin-2.9-llama3-8b-q8_0.gguf --theme.base="dark"

运行后弹出网页提示错误都是 ModuleNotFoundError: No module named 'peft' File "D:\python\lib\site-packages\streamlit\runtime\scriptrunner\script_runner.py", line 584, in _run_script exec(code, module.dict) File "D:\Gitruanjian\llama3-Chinese-chat\deploy\web_streamlit_for_v1.py", line 16, in from peft import PeftModel

[lzhfdwu007]

补充下 模型在LM studio下是能正常加载使用的

[CrazyBoyM]

这个streamlit不支持gguf
你上面的报错是缺少peft这个库，可以执行以下命令安装

pip install peft

对于gguf格式文件，建议安装一个软件叫ollama去运行。

[lzhfdwu007]

谢谢 那streamlit支持什么格式的模型呢？然后我的路径是要包含文件名本身 还是不用包含文件名本身？ 整个路径是否需要加“”？例如 “D:\Gitruanjian\models\文件名”还是直接输

[lzhfdwu007]

安装peft后 提示的变成了D:\Gitruanjian\LM-Studio\models\cognitivecomputations\ does not appear to have a file named config.json. Checkout 'https://huggingface.co/D:\Gitruanjian\LM-Studio\models\cognitivecomputations/None' for available files. 是不是我只能把路径改成huggingface的模型下载路径？

[CrazyBoyM]

抱歉个人在忙工作，回复比较晚，这个只支持huggingface格式模型的，具体就是把路径的全路径复制下，如D:/xxx/llama3-chinese

[lzhfdwu007]

能不能说下具体支持的格式后缀是什么？我测试了还是不行，如果能有图文教程就更好了