OLIVINE icon indicating copy to clipboard operation
OLIVINE copied to clipboard

请教一些问题

Open lulu-Lucas opened this issue 1 year ago • 2 comments

1.可以提供pretrain之后的模型文件吗,不知道为什么我训练速度越来越慢,在第四个epoch,竟然要训练10个小时。 2.为什么kl损失一直是0呢? 3.如果下游任务没有标注数据的话,比如我下游任务是lidar语义分割,但是我没有标注数据,我该怎么使用预训练模型进行lidar语义分割呢。 感谢作者奉献!

lulu-Lucas avatar Nov 22 '24 11:11 lulu-Lucas

  1. 涉及训练速度的要素太多,根据你提供的信息我无法帮你定位原因.
  2. 前几个epoch我们先用特征来更新vMF分布,几个epoch之后才加入regularization (KL) loss.
  3. 我们提供的是预训练权重,但是这个权重无法直接用于语义分割任务,也就是不具有zero-shot的能力. 你需要的功能可以看看Clip2scene 这个文章.

Eaphan avatar Nov 22 '24 11:11 Eaphan

感谢您的快速恢复。1.您这边可以直接提供nus数据集的预训练文件吗?3.好的,我会去研究一下的

lulu-Lucas avatar Nov 22 '24 11:11 lulu-Lucas