greatewei

llama能加载多个lora模型的参数吗

3

我使用了作者的lora模型，还有一个是自己训练的lora模型，这两个lora权重可以共同作用吗

想要在原来的lora基础上进行数据增量训练，data.json有3000条左右数据 运行命令： ``` python finetune.py \ --data_path /data/chat/Chinese-Vicuna/data/data.json \ --output_path /data/chat/models/llama_lora/llama-7b-yy-lora \ --model_path /data/chat/models/llama_base/llama-7b-hf \ --eval_steps 200 \ --save_steps 200 \ --test_size 1 \ --resume_from_checkpoint /data/chat/models/llama_lora/Chinese-Vicuna-lora-7b-belle-and-guanaco \ --ignore_data_skip True ```...

希望作者提供 Chinese-Vicuna/Chinese-Vicuna-lora-13b-belle-and-guanaco 的训练过程的优化器参数

3

机器 A100/80G 训练命令： ``` torchrun finetune.py \ --data_path /data/chat/models/datasets/merge.json \ --output_path /data/chat/models/llama_lora/llama_13b \ --model_path /data/chat/models/llama_base/llama-13b-hf \ --eval_steps 200 \ --save_steps 200 \ --test_size 1 ``` 最终效果 checkpoint-16200 ``` "max_steps": 16218,...

peerhost ：客户端IP sockport : 服务端端口 有没有办法获取到客户端的端口