SegAnyGAussians icon indicating copy to clipboard operation
SegAnyGAussians copied to clipboard

train_contrastive_feature.py 速度非常慢

Open superlearnerG opened this issue 10 months ago • 7 comments

您好,我在训练 LERF_MASK 数据集的 figurines 场景时,预计70个小时才能训练10000轮,速度太慢了。我是在单卡4090d 的 wsl2环境中进行训练的,可以向您请教一下,是我哪里出错了吗?非常感谢!

Image

superlearnerG avatar Feb 24 '25 07:02 superlearnerG

你好,这个速度确实过于慢了,你能添加一些计时器来看看具体是哪一步比较慢吗?我们需要更多信息来debug。

Jumpat avatar Feb 24 '25 08:02 Jumpat

您好,可能是我没有遵照本项目的规定去组织数据集。在使用 LERF-mask.figurines 数据集时,我想当然地使用了 figurines 的图像,然后使用 gaussian splatting repo 中的 convert.py 提取 colmap 类型的数据。 我在 Scene 类的 init.py 中看到您注释掉了自定义的 Lerf 类型数据的读取接口,但这个接口应该是能用的。如果我想用 figurines,是不是取消这里的注释即可? 感谢您的回复

superlearnerG avatar Feb 27 '25 07:02 superlearnerG

我觉得不是数据集的问题,使用convert.py对数据集进行处理是没问题的,这个接口可能会有相机位姿坐标系对不齐之类的问题,但你可以试试。我依然推荐你对每个iteration各个步骤的时间开销进行一下诊断,包括数据读取步骤。

Jumpat avatar Feb 28 '25 01:02 Jumpat

您好,我已经修复了上述问题。现在contrastive_feature的训练可以正常完成。但是在执行 prompt_segmenting.py 时,在截图中的这个单元格,hdbscan,sklearn,scipy等包出现了一些复杂的冲突。我尝试了很多版本,会出现不同的报错。 我认为可能是python3.7版本过旧的问题。我现在希望重新安装一个环境,使用python3.9或者3.10,以及pytorch2.0以上的版本。请问本项目是否能兼容更新的python和pytorch?

Image

superlearnerG avatar Mar 04 '25 06:03 superlearnerG

您好,我已经修复了上述问题。现在contrastive_feature的训练可以正常完成。但是在执行 prompt_segmenting.py 时,在截图中的这个单元格,hdbscan,sklearn,scipy等包出现了一些复杂的冲突。我尝试了很多版本,会出现不同的报错。 我认为可能是python3.7版本过旧的问题。我现在希望重新安装一个环境,使用python3.9或者3.10,以及pytorch2.0以上的版本。请问本项目是否能兼容更新的python和pytorch?

Image

你好我想请问一下按照你的配置正常跑完要多久呢,我现在正在用只有8G的显卡跑360_v2数据,这一步居然需要350h

Wangyyyyyunpeng avatar Mar 19 '25 01:03 Wangyyyyyunpeng

求助,为啥非常慢呀

zufehezhu avatar Jul 25 '25 02:07 zufehezhu

请问,最后这个训练速度慢的原因是是什么?是如何解决的?我也出现了这个计算速度非常慢的问题。python的版本我采用的3.10.期待各位前辈回复,谢谢。

kmmaster avatar Sep 15 '25 14:09 kmmaster