zkLyons
zkLyons
请问该怎么把deepspeed可以试着把模型参数都放到gpu上呀?在启动指令上进行设置吗?
可以打开pycat.light.css文件,找到和table有关的文件,注释掉,替换为以下的代码 ` #write table{ margin: 0.8em 0; } #write table { padding: 0; word-break: initial; text-align: center; } #write table tr { border: 1px solid #dfe2e5; margin: 0; padding: 0;...
不能使用520端口号,换一个端口号就可以了,大于1024的:CUDA_VISIBLE_DEVICES=0 deepspeed --master_port 5200 train.py \ --train_path data/spo_0.json \ --model_name_or_path ChatGLM-6B/ \ --per_device_train_batch_size 1 \。。。。。