Skywork
Skywork copied to clipboard
Skywork 团队有兴趣推出一个 7B 的蒸馏版本以支持推测采样和低资源设备推理吗?
如题,据我所知,隔壁 CausalLM/7B 已经搞了,他们用的知识蒸馏的方法。
现在7B的开源模型已经很多了,我们在考虑出开源一个3B的版本。