Paddle icon indicating copy to clipboard operation
Paddle copied to clipboard

[Paddle Inference]generate triton kernel when d2s

Open zhoutianzi666 opened this issue 1 year ago • 2 comments

PR Category

Others

PR Types

New features

Description

P-card-71501

  • 支持动转静的时候,将某些用triton实现的算子编译成 cubin ,并将其包装成自定义算子的方式供推理调用。
    • 当然,需要用户在推理的时候手动安装这些自定义算子。
  • triton_ops.py 里面是一些用triton实现的算子,且包含动转静时候需要进行的AOT编译。开发者可以将各种用triton实现的算子都添加到这个文件中。以保证这个特性的相对独立。
  • triton_utils.py 中是一些一次性的代码,主要是封装一些函数给动转静中的AOT过程使用。

zhoutianzi666 avatar Apr 08 '24 14:04 zhoutianzi666

你的PR提交成功,感谢你对开源项目的贡献! 请关注后续CI自动化测试结果,详情请参考Paddle-CI手册。 Your PR has been submitted. Thanks for your contribution! Please wait for the result of CI firstly. See Paddle CI Manual for details.

paddle-bot[bot] avatar Apr 08 '24 14:04 paddle-bot[bot]

Sorry to inform you that e66c049's CIs have passed for more than 7 days. To prevent PR conflicts, you need to re-run all CIs manually.

paddle-ci-bot[bot] avatar May 03 '24 03:05 paddle-ci-bot[bot]