TurboTransformers

TurboTransformers copied to clipboard

Commercial Support?

2

Is commercial support available for this project? If not, anyone who's familiar with the C++ part of this project interested in a paid gig to help integrate it?

codesniffer13

支持bert的变种吗？

1

我们有一个bert模型，但是是基于标准bert模型，做了一些网络结构上的修改，可以支持吗？ 我现在运行模型，好像报错： AttributeError: 'RecursiveScriptModule' object has no attribute 'embeddings'

hitchcockx

conformer is an upgraded version from transformer , which insert a convolution layer between each attention layer Is it easier to adapt to other models ?

housebaby

Feature request T5 huggingface's model.

1

abhinavsp0730

MultiHeadedAttention与onmt结果不对应

1

您好，非常感谢您这边的分享，我在测试turbo_transoformers的时候发现一个问题，如果Q矩阵有负数，或者mask矩阵有True的时候，turbo_transformers和onmt的输出结果就无法对应上了，请问是否我测试方法有问题？ 

ArtyZe

RuntimeError: code is not compiled with CUDA.

3

跑完build_and_run_unitest，unittest都pass了，但是运行benchmark gpu_fixed的时候，报code is not compiled with CUDA。

zhanghaoie

想问下turbo支持huggingface的bart模型么

4

will-wiki

Transformers版本不一致

5

@feifeibear 您好，我看到TurboTransformers最新版本中已经要求transformers版本为4.11.1了，对于我们之前使用transformers4.6.1版本训练出来的模型想要使用TurboTransformers来加速，需要怎么做呢？还是说训练模型的Transformers版本必须和TurboTransformers保持一致呢？

Hap-Zhang

支持大模型的推理吗

1

目前支持大模型吗？比如30亿（enc dec 均36层) 或者上百亿的，transformer模型，有一些推理优化的性能指标吗？

520jefferson

turbo推理时gpu卡号设置

4

hi 你好： 我想问一下，在使用turbo进行bert推理时，有能设置使用gpu的device_id相关的代码吗？大概在哪块？

zejunwang1