pretrain_codegeex.sh和finetune_codegeex.sh为什么是一模一样的，里面都运行的是pretrain_codegeex.py?

[WeiranGou]

那megatron/tools/里面为什么要分别写pretrain_codegeex.py和finetune_codegeex.py呢？

[WeiranGou]

直接运行finetune_codegeex.sh的话，没有给pretrain传入valid_forward_step，valid_forward_step会默认为None，在到了eval-interval之后会报错valid_forward_step是None，NoneType不能call；应该finetune_codegeex.sh里要改成finetune_codegeex.py而不是pretrain_codegeex.py，改了之后可以正常fintune，evaluate和save checkpoint。

[toufunao]

您好，请问您用了几张什么配置的显卡跑通了全量微调呀？我目前3张32g v100做全量微调没有调通，lora微调报错没有adapter.json