EveningLin

tensorboard诡异报错

1

[libprotobuf FATAL google/protobuf/stubs/common.cc:83] This program was compiled against version 3.9.2 of the Protocol Buffer runtime library, which is not compatible with the installed version (3.20.3). Contact the program author for...

pretrained CRATE weight?

6

where can i get the pretrained CRATE weight?

I haven't started working on this project yet, but it seems that the current pose is not controllable. That is, it seems infeasible if I want to generate other perspectives...

（1）求梯度gradient函数为什么不是直接使用sobel实现？是有什么其他考虑吗 （2）在drlse_edge()函数中为什么要使用幅值（）给x方向和y方向的梯度做归一化呢？  （3）梯度在0-1之间为什么要使用sin呢？是出于平滑的考虑吗

怎么证明法向量夹角小的运动就是相机位姿变化呢

2

@HeYijia  还是说假设在帧间时间极短，两帧间角度拉开不了太大呢？ 但是三角化不是一般要求有比较大的移动吗？

使用40系电脑进行测试似乎会出现不可调和的矛盾

1

@weiyithu 想要生成pkl文件，参考 [#40](https://github.com/weiyithu/SurroundOcc/issues/40) 生成pkl，但是发现在cuda11.7，torch113的情况下最低似乎只能下载mmcv-full==1.7.0,则会出现如下报错 `/home/eveing/anaconda3/envs/surroundocc/lib/python3.7/site-packages/mmcv/__init__.py:21: UserWarning: On January 1, 2023, MMCV will release v2.0.0, in which it will remove components related to the training process and add a data transformation...

首先非常惊喜的发现是我们ntu学长的工作哈哈哈哈，非常牛的工作！！ 我使用的是A100，会出现下图的问题  核心问题在于架构不同需要重新修改 可以参考https://arnon.dk/matching-sm-architectures-arch-and-gencode-for-various-nvidia-cards/ 在A100需要修改Rerender_A_Video/deps/ebsynth/build-linux-cpu+cuda.sh中成compute_80！！ ` nvcc -arch compute_80 src/ebsynth.cpp src/ebsynth_cpu.cpp src/ebsynth_cuda.cu -I"include" -DNDEBUG -D__CORRECT_ISO_CPP11_MATH_H_PROTO -O6 -std=c++11 -w -Xcompiler -fopenmp -o bin/ebsynth `

能给我解释一下为什么表现那么好吗

1

我们使用了vid2vid-zero,vid2vid-p2p以及controlvideo做了实验。 在我们的实验中controlvideo，效果远胜于前两者。 很长一段时间我以为controlvideo也是prompt2prompt的视频类延申工作，所以对于指定物品的修改才能如此精准，但是今天一看并没有类似于vid2vid-p2p的注意力替换，完全是似乎依赖于Keyframe Attention和Temporal At.（虽然p2p只有8帧 我真的有点想不明白为什么表现能那么好？仅仅依靠Keyframe Attention和Temporal At. 我是不是有理由可以怀疑 prompt2prompt中提到的方法（下图）其实是是一种次优的选择呢？那为什么又会是次优呢？ 

bin_size = (self.position_range[3] - self.depth_start) / (self.depth_num * (1 + self.depth_num)) 纯小白发言！self.position_range[3]和depth_start应该是两个方向吧，(self.position_range[3] - self.depth_start) 似乎没有几何含义？

权重保存问题

5

@scofield7419 @ChocoWu @NExT-GPT 好像在第一阶段和第二阶段会训练lm_head，但是实际上并没有保存，反而是在第三阶段保存，但是这意味着第三阶段并没有训练到lm_head，很奇怪啊能解释一下嘛