JerryDaHeLian comments

Results 17 comments of


                                            JerryDaHeLian

multi gpus run error after 1 epoch

假设有两个node，每个node 上有8张GPU，各个node 上的batch size 的值可以设置不一样吗？

`Accelerate test` failing on an 8-GPU docker instance

> I can run with a small amount of data, but large-scale data can cause errors: > > Some NCCL operations have failed or timed out. Due to the asynchronous...

多卡训练lora超时

数据集小没问题，数据集大就会timeout，很可能卡在tokenizer on dataset这一步，如果是，通过设置： --preprocessing_num_workers 128 解决。

有计划支持 KTO 吗？

同期待！

Qlora+sft，微调qwen1.5-72b-int4，卡着没反应，最后Watchdog caught collective operation timeout: WorkNCCL(SeqNum=488, OpType=ALLREDUCE, Timeout(ms)=1800000) ran for 1802602 milliseconds before timing out

我是通过： --preprocessing_num_workers 128 解决的。

使用zero3 offload微调出来的模型，推理时候和训练的pattern完全不一样，看上去像是没咋经过训练一样。

调大学习率，多来几个epoch。

dtype float16 for finetune_lora.py

https://github.com/Lightning-AI/lit-gpt/blob/96d66b4845ebe287b5dd57b45e584b38d4f660e7/lit_gpt/speed_monitor.py#L17-L57 这里有v100 支持的训练精度。

installation steps ( 安装步骤)

> 命令有点复杂。求作者更新一下readme，加入傻瓜式启动程序的教程，谢谢。附议！

执行App.py时报错

> 看来需要请作者更新下 readme，或者出个手把手启动该项目数字人的视频教程。最好是“傻瓜式” 教程。附议！

GPU是必须的吗

> 都是必须的。CPU跑不动这个模型的不跑ernerf呢？