WangZeJun

FP32模式下通过源码编译安装问题

2

根据 https://github.com/bytedance/lightseq/blob/master/docs/inference/build.md 中的步骤在 FP32 模式下成功编译， 安装 python 版 lightseq 时报错： import lightseq.inference Traceback (most recent call last): File "", line 1, in ImportError: /home/wangzejun/nlp-tools/transformer_tools/lightseq-master/lightseq/inference.cpython-37m-x86_64-linux-gnu.so: **undefined symbol: fatbinData** 请问一下有解决办法吗？

turbo推理时gpu卡号设置

4

hi 你好： 我想问一下，在使用turbo进行bert推理时，有能设置使用gpu的device_id相关的代码吗？大概在哪块？

core::Tensor 处理

1

你好，想请教一个关于 Tensor 的问题： 假设我现在有一个 {32，128，768} 维度的 Tensor，现在想去掉第二个维度的头尾向量，将 Tensor 的维度变为 {32，126，768}，请问有什么好的解决办法吗？

TurboTransformers推理精度损失

19

作者你好： 我想问一下使用TurboTransformers进行bert模型推理时，输出的精度会有损失吗？

想问一下 ltp-small 模型的 ner 训练数据集包含哪些，从哪能够获取？

微调时的 NER 数据集问题

6

你好，问一下，README 里提到的 NER 训练与评估数据集 MSRA 和 OntoNotes 到哪里可以下载？

关于默认 small 模型的问题

1

LTP 中默认的 small 模型，是以 electra-small 为基座进行训练的，还是用 base 为基座进行训练然后蒸馏到 small 版本的？

请问 Retrieval 评估结果展示中，所用的指标是 Recall@10 吗

1

rt