Cornucopia.AI

[email protected]

UCAS chendu NLPer

Results 13 comments of


                                            Cornucopia.AI

多gpu怎么运行啊

torchrun --nproc_per_node=8 ... 或 CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 torchrun --nproc_per_node=8 ...

请问数据集是否打算开源？

> 训练用的数据集可以考虑开源吗？很遗憾，目前暂时不能提供相关数据集。不过计划未来会开源出来～

跑最后一步报这个警告，要怎么改超参数呢

> 最后一步的代码里lora_config需要加上target_modules，trl作者给出的设置是target_modules=["q_proj","k_proj"]。训练可以跑通，但是会出现kl散度为负数的情况： > > ``` > ===================================BUG REPORT=================================== > Welcome to bitsandbytes. For bug reports, please run > > python -m bitsandbytes > > and submit this information together with...

‹
1
2