Chinese-CLIP icon indicating copy to clipboard operation
Chinese-CLIP copied to clipboard

Published 20 hours ago • verified publisher icon OFA-Sys

flash attention模型转TensorRT

Open 2401ch opened this issue 1 year ago • 2 comments

您好，flash attention模型方便转tensorRT进行推理吗，该怎么做呢？

2401ch avatar Jul 25 '23 07:07 2401ch

您好，打开flash attention后模型是否可以转tensorRT部署我们还需要看下哈，之前确实没有测试过，有结论的话我们会尽快回复哈，也希望您也能帮我们验证下是否通。

yangapku avatar Jul 27 '23 10:07 yangapku

您好，打开flash attention后模型是否可以转tensorRT部署我们还需要看下哈，之前确实没有测试过，有结论的话我们会尽快回复哈，也希望您也能帮我们验证下是否通。

请问有结论么

22wei22 avatar Jul 22 '24 09:07 22wei22