sixgold993

好的，理解了，关于文件大小有一些疑问。我用的是data/pt_sample_data.txt 下的数据，这个数据看起来很小。为什么这个lora文件有1.6G这么大呀。 我的basemodel用的是（Llama原版+7B 20G的Lora 的合并）。我看之前20G的中文数据跑出来的大小才800M。 > 新建一个文件夹，把`pytorch_model.bin`放进去并改名`adapter_model.bin`，并补齐tokenizer相关和config相关文件，使得文件夹内容与我们发布的如Chinese-LLaMA-LoRA-7b一致。大致流程如下： > > ```shell > mkdir lora_model > cp pytorch_model.bin lora_model/adapter_model.bin > cp Chinese-LLaMA-LoRA-7b/adapter_config.json lora_model/ > cp Chinese-LLaMA-LoRA-7b/*token* lora_model/ > ``` > > 其中你需要修改`adapter_config.json`中的LoRA参数，以和你训练时用的参数保持一致。...

visualcla-7b-v0.1 这个是 多模态预训练和精调的Lora吗？ 也就是说vit的需要自己下载，没提供把？

> ViT部分要自己下载； visualcla-7b-v0.1 这个权重是包含了Resampler的全部参数，以及ViT和Alpaca的lora参数 好的谢谢，但是我看图上VIT参数是冻结的，这部分也会有lora参数吗

> > > ViT部分要自己下载； visualcla-7b-v0.1 这个权重是包含了Resampler的全部参数，以及ViT和Alpaca的lora参数 > > > > > > 好的谢谢，但是我看图上VIT参数是冻结的，这部分也会有lora参数吗 > > 是的，ViT和alpaca都是使用LoRA训练的 谢谢大佬，请问后续会提供 多模态预训练和精调的脚本吗？想自己训一下，但是目前看着代码没有头绪