Zicheng Weng
Zicheng Weng
【报名】：3 【其他意向】：2、4、5 接受调剂
> turbomind attention 没有 python 接口，是 c++, cuda 写的。 感谢回复，之前注意到了你们没有用pybind来绑定算子接口，想问一下在V100上测试不同规模输入下的turbomind attention性能有没有比较方便的方法，我看了一下/src/turbomind/kernel/attention，没太看懂里面的逻辑。
我的lightning用的是[999, 937, 833, 624]，然后lora强度全是0.125，没啥问题