宁鹏涛

我的需求是希望能够做专用的小模型（纯个人使用），但小模型需要具备基本的逻辑能力，并且个人没太多资源，顶多两张4090。 所以，我想通过看看是否能够通过蒸馏的方法解决这个需求。 这是一篇将transformers架构通过蒸馏的方法转换为ssm [Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models](http://arxiv.org/abs/2408.10189)

要不集成一下试试？ https://github.com/MoonshotAI/Moonlight