minimind icon indicating copy to clipboard operation
minimind copied to clipboard

Published 20 hours ago • verified publisher icon jingyaogong

想问一下作者大大是怎么做到模型大小这么小的，通过模型压缩或是参数共享吗，还是只是减少了layer、dim这些参数呢？

Open ChinanBoys opened this issue 2 months ago • 1 comments

最近有在看MobileLLM那篇论文，不知道作者是不是用了论文里面的技术呢？如embedding share、GQA等呢

ChinanBoys avatar Dec 27 '24 06:12 ChinanBoys