rainfallLLF

ckbert使用自己的领域语料继续预训练，发现语料一大（12GB），训练时间一久，机器就会自动重启，小语料（2G）的情况下没有出现问题。 遂训练时观察内存使用情况发现内存占用随着训练进度推进而逐渐增大，最终占完所有内存。 是否有大神面临同样的问题？十分感激能有人回复！ 以下是我的训练参数： export CUDA_VISIBLE_DEVICES=0,1 gpu_number=2 negative_e_number=4 negative_e_length=16 python -m torch.distributed.launch --nproc_per_node=$gpu_number \ --master_port=52349 \ $base_dir/main.py \ --mode=train \ --worker_gpu=$gpu_number \ --tables=$local_train_file, \ --learning_rate=1e-3 \ --epoch_num=1 \ --logging_steps=100 \...

请问大模型的幻觉/不安全答复的问题是否有做针对性优化？

2

感谢作者这么好的项目，请问大模型的幻觉/不安全答复的问题是否有做针对性优化？ 我看文章中似乎没有提及这块内容，感谢答复

如果只想模型固定生成1个token需要怎么设置？max_seq_len感觉不起作用，得到的结果不可解释 运行命令：python eval_model.py --load 1 --max_seq_len 1 运行结果： MiniMind模型参数量: 108.95M(illion) [0] 自动测试 [1] 手动输入 1 👶: 你好你是谁？ 🤖️ÿ: