Yixuan Jin

强烈建议加一下这个功能，不然用户手动去高级设置里改很麻烦，而且如果忘了改，API很容易就被封了

模型地址: https://huggingface.co/entity303/lawgpt-lora-7b-v2/tree/main 使用方法: python webui.py \ --load_8bit False \ --base_model 'minlik/chinese-alpaca-plus-7b-merged' \ --lora_weights 'entity303/lawgpt-lora-7b-v2' \ --prompt_template "law_template" \ --server_name "0.0.0.0" \ --share_gradio True \

> 您好, 使用8*V100训练时长大约12个小时.

把Beams调成1会快一些

训练细节 https://github.com/pengxiao-song/LaWGPT/wiki/%E8%AE%AD%E7%BB%83%E7%BB%86%E8%8A%82

> 是不是这个：https://github.com/pengxiao-song/LaWGPT/blob/main/templates/law_template.json > 你好，可以提供一下example中使用的prompt吗？想在其他模型上测试一下效果，对比一下 目前prompt是这个: https://github.com/pengxiao-song/LaWGPT/blob/main/templates/law_template.json

您好, 我在本机测试是没有问题的. 可以详细说明一下您的硬件环境.比如显卡型号和cuda版本等.

您好, 可能是bitsandbytes库的问题.您可以试一下这样 cd ~/.conda/envs/lawgpt/lib/python3.10/site-packages/bitsandbytes cp libbitsandbytes_cuda110.so libbitsandbytes_cpu.so

您好, 试试这样 cd ~/.conda/envs/lawgpt/lib/python3.10/site-packages/bitsandbytes cp libbitsandbytes_cuda117_nocublaslt.so libbitsandbytes_cpu.so

把lora_weights换一下 python webui.py \ --base_model '/media/zr/Data/LLM/chinese-llama-7b-merged' \ --lora_weights 'entity303/lawgpt-lora-7b' \ --prompt_template "law_template" \ --server_name "0.0.0.0" \ --share_gradio True \