TurboTransformers icon indicating copy to clipboard operation
TurboTransformers copied to clipboard
verified publisher icon Tencent

支持大模型的推理吗

Open 520jefferson opened this issue 4 years ago • 1 comments

目前支持大模型吗？比如30亿（enc dec 均36层) 或者上百亿的，transformer模型，有一些推理优化的性能指标吗？

520jefferson avatar Dec 23 '21 02:12 520jefferson

大模型推理可以去看一下NVIDIA的FasterTransformer。turbo支持也不难，如果你愿意做一些测试的话，我近半年没有计划去做这件事了。

feifeibear avatar Dec 25 '21 05:12 feifeibear

hehe

datalee avatar Sep 05 '23 02:09 datalee

hehe

友商别黑，现在已经很多做Decoder-only LLM的inference了，其实挑战和encoder有比较大的差别了。这issue post的两年前的大模型还不是指decoder-only的。

feifeibear avatar Sep 06 '23 03:09 feifeibear

hehe

友商别黑，现在已经很多做Decoder-only LLM的inference了，其实挑战和encoder有比较大的差别了。这issue post的两年前的大模型还不是指decoder-only的。

好吧

datalee avatar Sep 06 '23 03:09 datalee