mjp9527
mjp9527
> > > > 使用带fp16标签的库 > > 谢谢,程序可以跑起来了,这边还想问下arm架构中支持FP16计算的是不是只有大核,如果绑定小核FP16是不是就失效了 主要是看cpu是否支持armv8.2指令集,比如A55就支持
> 补充其它paddle版本: paddlepaddle-gpu= 2.4.2.post112 paddleOCR=2.6 更新下PaddleLite版本
指定python_version
Thanks for your great work! Does this PR support varlen with KV block: https://github.com/Dao-AILab/flash-attention/commit/2a15840f09905a55adbb2d218c3cd8244d8b922d