TurboTransformers

TurboTransformers copied to clipboard

请问怎么用tensorflow加载bert呢？

1

你好，请问用tensorflow加载bert，是先将bert权重转成npz格式，再用`from_npz `加载么？`from_torch`和`from_pretrained`应该都都是加载的pytorch模型，不知道我理解得对不对？另外，请问gpt2现在还只能用onnx加速么？

qiuxia-alone

core::Tensor 处理

1

你好，想请教一个关于 Tensor 的问题： 假设我现在有一个 {32，128，768} 维度的 Tensor，现在想去掉第二个维度的头尾向量，将 Tensor 的维度变为 {32，126，768}，请问有什么好的解决办法吗？

zejunwang1

支持自己搭建的Transformer吗？

1

是不是仅支持README中提到的几个模型以下几个模型？假设基于pytorch搭建一个transformer模型，能用turbo transformer加速吗？ BERT [Python] [C++] ALBERT [Python] Roberta [Python] Transformer Decoder [Python] GPT2 [Python]

wapping

使用Turbo进行命名实体识别，测试速度无明显提升

9

Hi,feifeibear 我仿照您提供的例子（bert_for_sequence_classification_example.py）写了个用于命名实体识别的测试程序，运行下来发现Turbo提速并不明显，请问这中间有什么潜在的注意事项吗？ 

Hap-Zhang

Can turboTransformers be used for the ViT architecutre?

1

zxDeepDiver

运行python bert_example.py报错

4

大家好， 我在hugging face上面下载了bert-base-uncased模型来测试bert_example.py脚本，操作完全按照TurboTransformers/example/python/README.md这个里面来操作，不过因为本地编译有问题，所以我这里用的是作者提供的编译好的镜像（docker pull thufeifeibear/turbo_transformers_cpu:latest），结果报以下错误： **Traceback (most recent call last): File "", line 3, in File "/opt/miniconda3/lib/python3.7/site-packages/turbo_transformers/layers/modeling_bert.py", line 495, in __call__ outputs = self.onnxmodel.run(inputs=data) AttributeError: 'BertModelNoPooler' object has no attribute...

Hap-Zhang

使用sh tools/build_docker_cpu.sh执行失败

4

你好： 我下载最新的turbotransformers程序编译，使用命令sh tools/build_docker_cpu.sh 这一步就报了很多库冲突，这个问题该怎么解决呢，一部分报错信息如下 > Package jupyterlab conflicts for: > _ipyw_jlab_nb_ext_conf -> jupyterlab > anaconda==2021.05 -> jupyterlab==3.0.14=pyhd3eb1b0_1 > > Package perl conflicts for: > git -> perl[version='5.*|>=5.26.2,=5.26.2,=1.3.7,=1.18.3,=1.3.7,=4.3'] -> conda-env[version='>=2.6'] >...

angus1121

Benchmark testing for accuracy

1

The benchmark testing script just shows the QPS or latency comparison without accuracy testing. Does turbo have the method for accuracy testing or some suggestion to do this? Thanks.

QSZL-SZ

[TT_ERROR] CUDA runtime error: an illegal memory access was encountered TurboTransformers/turbo_transformers/core/cuda_device_context.cpp:33

38

Below is a rough code to explain what I did. ```python import torch.multiprocessing as mp def inference(config): data_loader = get_loader(config) while True: for step in range(128): dec_outs, _ = turbo_decoder(current_pred,...

auspicious3000

It would be good if you add java support with JavaCPP. So this library can work on IOS , OSX , Android , Linux , Windows ?

eix128