fastllm
fastllm copied to clipboard
只想说声谢谢!!
今天你们连发两个版本,支持了gguf格式。 仰赖于你们长时间的努力,让我可以用双路CPU运行高度量化的巨型MOE模型。 fastllm是第一个让我可以真正使用双路cpu去运行广泛普及的gguf格式的巨型MOE模型的推理引擎。 这对你们来说或许只是一小步,但我来说是很重要的一大步。 万分感谢!
祝愿这个项目和每一个为这个项目努力的人都顺顺利利,祝愿你们取得更大的成功!
谢谢支持!(对我们来说也是很重要的一大步,投入了很长时间适配哈哈)
+1
祝愿这个项目和每一个为这个项目努力的人都顺顺利利,祝愿你们取得更大的成功!!!!!!!!
+1 💯