magictut

V100 WINDOWS10


cudaversion v11.8

> 请改成 > > ``` > python3 cli_demo.py --from_pretrained /root/ai/VisualGLM-6B/checkpoints/finetune-visualglm-6b-05-25-15-02 --prompt_zh 请给这张图片写一段广告语? > ``` 已成功运行，谢谢， 训练前  训练后  ， 衣服  希望接下来支持在web_demo也能加载微调后的模型

 多轮对话的推理能力也很不错

> 如果数据多的话可以考虑增加训练的参数，目前的训练脚本只训练了2层lora，可以看到 https://github.com/THUDM/VisualGLM-6B/blob/main/finetune_visualglm.py#L18 的layer_range参数，目前只finetune了[0,14]两层的lora。 实在是太感谢你了，在微调的过程中给予我这么多帮助，我看到这行代码了 `self.add_mixin("lora", LoraMixin(args.num_layers, args.lora_rank, head_first=True, num_attention_heads=args.num_attention_heads, hidden_size_per_attention_head=args.hidden_size // args.num_attention_heads, layer_range=list(range(0, 28, 14))), reinit=True)` 我知道在SD里lora层数是26层 BASE,IN00,IN01,IN02,IN03,IN04,IN05,IN06,IN07,IN08,IN09,IN10,IN11,M00,OUT00,OUT01,OUT02,OUT03,OUT04,OUT05,OUT06,OUT07,OUT08,OUT09,OUT10,OUT11 所以如果想修改层数，是否是改成 `self.add_mixin("lora", LoraMixin(args.num_layers, args.lora_rank, head_first=True, num_attention_heads=args.num_attention_heads, hidden_size_per_attention_head=args.hidden_size // args.num_attention_heads, layer_range=list(range(0, 28,...

> 如果数据多的话可以考虑增加训练的参数，目前的训练脚本只训练了2层lora，可以看到 https://github.com/THUDM/VisualGLM-6B/blob/main/finetune_visualglm.py#L18 的layer_range参数，目前只finetune了[0,14]两层的lora。 visualglm是否支持chatglm一样的多轮对话训练？ ``` {"prompt": "长城h3风扇不转。继电器好的。保险丝好的传感器新的风扇也新的这是为什么。就是继电器缺一个信号线", "response": "用电脑能读数据流吗？水温多少", "history": []} {"prompt": "95", "response": "上下水管温差怎么样啊？空气是不是都排干净了呢？", "history": [["长城h3风扇不转。继电器好的。保险丝好的传感器新的风扇也新的这是为什么。就是继电器缺一个信号线", "用电脑能读数据流吗？水温多少"]]} {"prompt": "是的。上下水管都好的", "response": "那就要检查线路了，一般风扇继电器是由电脑控制吸合的，如果电路存在断路，或者电脑坏了的话会出现继电器不吸合的情况！", "history": [["长城h3风扇不转。继电器好的。保险丝好的传感器新的风扇也新的这是为什么。就是继电器缺一个信号线", "用电脑能读数据流吗？水温多少"], ["95", "上下水管温差怎么样啊？空气是不是都排干净了呢？"]]} ```

> layer_range接受一个list作为参数，代表要加lora的层编号，比如我们提供的脚本里`list(range(0, 28, 14))`其实就是`[0, 14]`，这个是python的语法。你如果想对15和16也加lora，就直接传`layer_range=[0, 14, 15, 16]`就可以了。 感谢指导，visualglm是否支持chatglm一样的多轮对话训练？ ``` {"prompt": "长城h3风扇不转。继电器好的。保险丝好的传感器新的风扇也新的这是为什么。就是继电器缺一个信号线", "response": "用电脑能读数据流吗？水温多少", "history": []} {"prompt": "95", "response": "上下水管温差怎么样啊？空气是不是都排干净了呢？", "history": [["长城h3风扇不转。继电器好的。保险丝好的传感器新的风扇也新的这是为什么。就是继电器缺一个信号线", "用电脑能读数据流吗？水温多少"]]} {"prompt": "是的。上下水管都好的", "response": "那就要检查线路了，一般风扇继电器是由电脑控制吸合的，如果电路存在断路，或者电脑坏了的话会出现继电器不吸合的情况！", "history": [["长城h3风扇不转。继电器好的。保险丝好的传感器新的风扇也新的这是为什么。就是继电器缺一个信号线", "用电脑能读数据流吗？水温多少"],...

AI分析结论 1. 出现了多处$'\r': command not found的错误。这是因为脚本中存在Windows格式的换行符\r\n,而Linux/Mac只识别\n作为换行符。 2. deepspeed launch的命令行参数解析出现问题,报错unrecognized arguments。这可能是由于参数之间存在非法的空格或换行导致的。 3. set命令出现+选项无效的错误。这是因为set前面存在一个换行符,使得+被错误地识别为选项。

机器V100 (visualGLM) root@iZbp1ewp3ew1qt4u8bdh0iZ:~/ai/VisualGLM-6B# nvidia-smi Tue May 23 17:26:24 2023 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 515.65.01 Driver Version: 515.65.01 CUDA Version: 11.7 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr....