Hyperparameters X-der Cifar-10

[marcociccone]

Hi! I can't really surpass der, der++ performance by using xder on cifar10 do you happen to have tuned xder for Cifar10?

Thanks!

[mbosc]

Ciao Marco,

Abbiamo sviluppato X-DER prendendo come riferimento prevalente CIFAR-100. Riteniamo che CIFAR-10 presenti alcuni fattori di confusione: ha poche classi per task, pochi task e ormai presenta dei valori di accuracy abbastanza saturati nei paper recenti.

La parte di X-DER che fa Future Preparation ha una efficacia molto dipendente dalla "quantita' di futuro" a disposizione, quindi non mi aspetto che porti a guadagni notevoli di accuracy su CIFAR-10. Al contrario, la parte di Bias Correction dovrebbe essere efficace anche per CIFAR-10; quindi mi aspetto che ci sia un guadagno effettivo rispetto a DER++.

Nei prossimi giorni proviamo a fare un po' di ricerca di iperparametri. Ti facciamo sapere se troviamo qualche buona combinazione!

[Taylorfire]

Hi! I am also looking forward to proper hyper-parameters for xDer on Cifar-10. Besides, I find the best-args for mini-imagenet (which is included as one of the main results in your paper) is also missing. Would you mind sharing these?

Thanks!

[mbosc]

Hi there, Sorry we've been pretty busy (also that's why we did not answer the original issue here), we'll try to run a grid search and get back to you all. Regarding mini-imagenet, the arguments are included in the appendix for X-DER. We are not sharing the code for the dataset at this time because licensing issues prevent us from doing so, but you should be easily able to replicate the experiment by downloading the dataset yourself and building a unique dataset incorporating all classes.

[loribonna]

Hi all, we run some experiments on CIFAR-10 and results are in #34