CLIPNeRF icon indicating copy to clipboard operation
CLIPNeRF copied to clipboard

Question regarding the training

Open HannahHaensen opened this issue 2 years ago • 6 comments

for how long was the model trained until the color of the lego changes?

HannahHaensen avatar Aug 23 '22 08:08 HannahHaensen

also the loss is not going down for the lego training:

1 4.391266345977783                                                                                                                                                         | 1/40 [00:04<02:51,  4.39s/it]

2 4.392829895019531                                                                                                                                                         | 2/40 [00:08<02:46,  4.39s/it]

3 4.393294334411621                                                                                                                                                         | 3/40 [00:13<02:42,  4.39s/it]

4 4.400105237960815██▋  

....

24 4.512807607650757████████████████████████████████████████████████████████████████████████████████████▌                                                                  | 24/40 [01:51<01:12,  4.53s/it]

25 4.65229606628418█████████████████████████████████████████████████████████████████████████████████████████▊                                                              | 25/40 [01:56<01:08,  4.56s/it]

26 4.645878314971924████████████████████████████████████████████████████████████████████████████████████████████▉                                                          | 26/40 [02:00<01:04,  4.59s/it]

27 4.769464015960693█████████████████████████████████████████████████████████████████████████████████████████████████                                                      | 27/40 [02:05<01:00,  4.64s/it]

28 4.656256914138794█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                 | 28/40 [02:10<00:55,  4.65s/it]

29 4.570099115371704█████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                             | 29/40 [02:14<00:50,  4.62s/it]

30 5.071374177932739█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                         | 30/40 [02:19<00:47,  4.76s/it]

31 4.967520236968994

and the intermediate results look like this, so a few green pixels at the top but thats it: 024

HannahHaensen avatar Aug 29 '22 06:08 HannahHaensen

I only get resuts when using the pretrained model with the command provided in the README

but not with a pure training

024

HannahHaensen avatar Aug 29 '22 09:08 HannahHaensen

hi, may I ask how many N_iters until you could get a result like above? And how much time it costs to finish one iter? Because my code seems to spend ~9 seconds on the clip loss and the process became very slow.

LiquidAmmonia avatar Aug 31 '22 12:08 LiquidAmmonia

You may add ‘--use_alpha’ and '--use_feature' for different colors. In my experiment, the default setting is enough to change the color from yellow to green. But you can also add these params to accelerate the editing process and strengthen the editing.

cassiePython avatar Sep 07 '22 06:09 cassiePython

for how long was the model trained until the color of the lego changes?

Hi,How do you solve the "AttributeError: module 'kornia' has no attribute 'rgb_to_grayscale'" problem that occurs during training?

yunchao-ding avatar Dec 29 '23 02:12 yunchao-ding

also the loss is not going down for the lego training:

1 4.391266345977783                                                                                                                                                         | 1/40 [00:04<02:51,  4.39s/it]

2 4.392829895019531                                                                                                                                                         | 2/40 [00:08<02:46,  4.39s/it]

3 4.393294334411621                                                                                                                                                         | 3/40 [00:13<02:42,  4.39s/it]

4 4.400105237960815██▋  

....

24 4.512807607650757████████████████████████████████████████████████████████████████████████████████████▌                                                                  | 24/40 [01:51<01:12,  4.53s/it]

25 4.65229606628418█████████████████████████████████████████████████████████████████████████████████████████▊                                                              | 25/40 [01:56<01:08,  4.56s/it]

26 4.645878314971924████████████████████████████████████████████████████████████████████████████████████████████▉                                                          | 26/40 [02:00<01:04,  4.59s/it]

27 4.769464015960693█████████████████████████████████████████████████████████████████████████████████████████████████                                                      | 27/40 [02:05<01:00,  4.64s/it]

28 4.656256914138794█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                 | 28/40 [02:10<00:55,  4.65s/it]

29 4.570099115371704█████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                             | 29/40 [02:14<00:50,  4.62s/it]

30 5.071374177932739█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                         | 30/40 [02:19<00:47,  4.76s/it]

31 4.967520236968994

and the intermediate results look like this, so a few green pixels at the top but thats it: 024

I have the same problem, but the green stripe picture appears. How did you solve it? 000

yunchao-ding avatar Jan 04 '24 07:01 yunchao-ding