I%

我想请问一下，你们的pkl文件中代表的内容是什么?video_id，tokens_ids，target_ids是什么意思？

> @ashawkey 谢谢你的回复。我说的“晃动”就是指正常说话时头部的左右上下的移动。 我的想法不太正确，这个想法本身来源于wav2lip，它是仅截取面部rect送入神经网络，然后将输出再拼接回来，这样可以不用关心头部的运动，过肩的长头发以及躯干和四肢的运动，但是在RAD-NeRF中，头部姿势本身是get_rays的一部份。 在实践当中，通常需要一个完整的“人”，而不仅只有头部和肩部，当不使用--torso时，因为头部在运动而torso没有渲染，导致head/torso运动不一致，这样在结合处就会不自然。我再想想是否有其它的解决方法吧，如果你有更好的意见，也请你告诉我，谢谢！ 你好，我发现我训练的人的头部总是忽大忽小，是不是您说的摇晃呢？请问您解决了吗？

> 更新最新代码训练出现如下问题： (geneface) root@0e94f7ccaecc:/GuiJi/dh_video/GeneFacePlusPlus# CUDA_VISIBLE_DEVICES=0 python tasks/run.py --config=egs/datasets/maxiwang/lm3d_radnerf_sr.yaml --exp_name=motion2video_nerf/maxiwang_head --reset | set_hparams Unknow hparams: [] | Hparams chains: ['egs/egs_bases/radnerf/base.yaml', 'egs/egs_bases/radnerf/lm3d_radnerf.yaml', 'egs/datasets/maxiwang/lm3d_radnerf.yaml', 'egs/datasets/maxiwang/lm3d_radnerf_sr.yaml'] | Hparams: { "accumulate_grad_batches": 1, "add_eye_blink_cond": true, "ambient_coord_dim":...

> python用的是3.9吗？现在的报错信息如下： RuntimeError: CUDA error: no kernel image is available for execution on the device 您这个需要重新安装一下cuda环境

> > > 是不是在这里下采样时丢失的： crop_frame = cv2.resize(crop_frame,(256,256),interpolation = cv2.INTER_LANCZOS4) #raymond > > > 不下采样，怎么做，必须下采样吗？ > > > > > > 这里是因为模型的输入必须是一个固定的size，在目前开源的模型中是256X256。 > > 谢谢，大佬回复，我尝试了各种图像增强方法，没有办法恢复丢失的信息，是否可以使用一种下采样保留图像细节的算法，有什么建议？ 可以对某个人的人脸进行fintune,这样可以进行最大程度的保留相关信息

> 你好，麻烦问一下，您onnx模型转换成功了嘛？ 没有，始终会把所有的分块权重导出

这应该是你处理数据的问题吧？

据我测试，使用hubert中文版并不能够提升嘴型的准确度，所以这条路行不通

切分成短视频试试吧。这有可能是你的内存被撑爆了