TexasRangers86

Thanks a lot! I'll test.

I solved it by update colossal's version to 0.2.7.

> > 请问一下，目前提供的65B的训练速度数据是单机运行的吗？ 不知道有没有试过多机训练65B，速度是否还能线性扩展？ > > 这里数据已经都是48卡测试结果了。 您好，我也遇到了训练速度上不去的问题，4台机器32张A100-80G，大概是20 token/s/gpu，是网卡的问题吗，想请教下多机训练的时候网络带宽能达到多少啊？

好的，感谢您的回复，我测试一下哈

+1

> fwiw, i know this is about vLLM, but you can run medusa on tgi using --speculate 3 hello，how can I pass medusa model and base model args when I...

Thanks a lot !!!!