evit
evit copied to clipboard
How to train a EViT-LVViT-S
我想训练一下EViT-LVViT-S,请问具体怎么实现? 1.关于token蒸馏,只蒸馏最后留下的token,还是蒸馏全部的token呢? 2.关于fuse token,需要蒸馏吗?
我想训练一下EViT-LVViT-S,请问具体怎么实现? 1.关于token蒸馏,只蒸馏最后留下的token,还是蒸馏全部的token呢? 2.关于fuse token,需要蒸馏吗?