James Karl

请问，单卡跑官方示例用的zh-v1.5模型，'grad_norm': 一直nan是为什么

1

 torchrun --nproc_per_node 1 \ -m FlagEmbedding.finetune.embedder.encoder_only.base \ --model_name_or_path /root/.cache/modelscope/hub/models/BAAI/bge-base-zh-v1.5 \ --cache_dir ./cache/model \ --train_data ./examples/finetune/embedder/example_data/retrieval \ --cache_path ./cache/data \ --train_group_size 8 \ --query_max_len 512 \ --passage_max_len 512 \ --pad_to_multiple_of...

看下命令中没有保存训练日志和训练状态日志的参数，只有report to