Clearlove

对，是那里

I have the same problem, is this problem solved now?

> > 请问你是如何使用llama 13b的config，然后随机初始化权重的，启动要设置什么参数？ 我也想尝试pretrain > > 参考的https://github.com/FlagAlpha/Llama2-Chinese/blob/main/train/pretrain/pretrain_clm.py 需要在LLaMA-Factory对应加载模型的地方进行修改 > > ``` > model = AutoModelForCausalLM.from_config(config) > n_params = sum({p.data_ptr(): p.numel() for p in model.parameters()}.values()) > logger.info(f"Training new model from...

> > > > 请问你是如何使用llama 13b的config，然后随机初始化权重的，启动要设置什么参数？ 我也想尝试pretrain > > > > > > > > > 参考的https://github.com/FlagAlpha/Llama2-Chinese/blob/main/train/pretrain/pretrain_clm.py 需要在LLaMA-Factory对应加载模型的地方进行修改 > > > ``` > > > model = AutoModelForCausalLM.from_config(config) > >...