henryGao9

我也出现了相同的问题，首先通过对原版的LLaMA-7B模型通过手动转换的方式，转换为HF格式。 只有就按照“使用text generation webui搭建界面”的文档说明进行了操作，最后执行： python server.py --model llama-7b-hf --lora chinese-alpaca-lora-7b --cpu 项目可以顺利启动，但进行对话时，没有任何返回，并且终端报错。 raise AssertionError("Torch not compiled with CUDA enabled") AssertionError: Torch not compiled with CUDA enabled

这是来自QQ邮箱的假期自动回复邮件。   ***@***.***

感谢回复，问题已经解决，现在正在进行尝试

楼主您好，请教一下，如果只是想对单独领域知识进行扩充回答的话，要必须要先进行预训练再进行精调，还是只是需要精调不需要预训练就可以呀？

> > 楼主您好，请教一下，如果只是想对单独领域知识进行扩充回答的话，要必须要先进行预训练再进行精调，还是只是需要精调不需要预训练就可以呀？ > > 以我个人实操的情况来看，最好是先继续预训练再做指令微调。我观察到的现象是SFT其实不会给模型增加新的知识，只是让模型学会了对话的套路。 感谢您的回复和指导，我看看都学习一下，前后也做个对比。

> > 楼主您好，请教一下，如果只是想对单独领域知识进行扩充回答的话，要必须要先进行预训练再进行精调，还是只是需要精调不需要预训练就可以呀？ > > 以我个人实操的情况来看，最好是先继续预训练再做指令微调。我观察到的现象是SFT其实不会给模型增加新的知识，只是让模型学会了对话的套路。 我现在发现的问题点是：我以一问一答的形式进行SFT精调过后，在对话的过程中，他的回答都是不准确的，完全是所问非所答的情况，没有精准的按照我给他的Stanford Alpaca的答案进行回复。