linwenzhao1

> 您好，可尝试更直观的prompt，如通过给出全部输出的格式来使模型输出有参考。或者参考我们的评测代码 https://github.com/OpenBMB/MiniCPM-V/blob/main/eval_mm/vlmevalkit/vlmeval/vlm/minicpm_llama3_v_2_5.py#L63 中文的prompt有吗？

> ### System Info / 系統信息 > 5b模型有这个问题，2b好像没有 > > ### Information / 问题信息 > * [ ] The official example scripts / 官方的示例脚本 > * [x] My own modified...

@zRzRzRzRzRzRzR cogvideo1.0 5b全参数微调能跑起来吗

> 这个模型应该用FP16进行转换和推理，在转换的时候，应该用FP32载VAE模块。 刚才代码发错了。应该不是数据格式问题，以下是转化代码，还是有精度损失 dtype=torch.float16 args.transformer_ckpt_path = "/home/workspace/CogVideo/sat/ckpts_lora_2b/lora-disney_full_2b_0f-01-04-10-01/9500/mp_rank_00_model_states.pt" if args.transformer_ckpt_path is not None: init_kwargs = get_transformer_init_kwargs(args.version) ##1.0 transformer = convert_transformer( args.transformer_ckpt_path, args.num_layers, ##30 args.num_attention_heads, ##30 args.use_rotary_positional_embeddings, ##False args.i2v, ##False dtype,##fp16 init_kwargs,...

> 跑不起来的报错事？ 这行代码改为False能正常跑transformer.load_state_dict(original_state_dict, strict=False) 不然需要移除conditioner和first_stage_model算子，对于cogvideo 5b还需要移除patch_embed.pos_embedding才能加载 但是2b转模型后会多生成物体，或者生成物体的位置不对，例如杯子放在了桌子旁边空中