Qwen2.5 icon indicating copy to clipboard operation
Qwen2.5 copied to clipboard

Published 20 hours ago • verified publisher icon QwenLM

请问作者有尝试过neftune实验吗？

Open fanbooo opened this issue 9 months ago • 3 comments

作者你好，目前我在qwen1.5上实验时，发现泛化性能不是特别好； 看这个研究说是有帮助，请问下你们之前有没有试过neftune_noise_alpha，如果有的话alpha设置多少会比较好呢？ https://github.com/neelsjain/NEFTune

fanbooo avatar May 19 '24 13:05 fanbooo