Jiarui Fang（方佳瑞）
Jiarui Fang（方佳瑞）
你用哪个脚本测试的呢？你这个差异看起来已经远远超出可接受范围。 example/python/bert_example.py 用这个程序测试一下？
你的意思是不是： bert_model_example.cpp 差异很大 bert_example.py 差异可以接受？
你用了自己的数据，然后发现差异很大？你都用的是统一版本的bert-base-uncased？
> > 你用了自己的数据，然后发现差异很大？你都用的是统一版本的bert-base-uncased？ > > 我使用turbo_transformers的python api，发现当seq_length为128的时候，每次推理出来的结果都不一样，问一下这个是什么情况？ 根据你对现象的描述，我猜测一个合理的解释是，你的网络中某些层的参数没有加载，是随机的。
> > > > 你用了自己的数据，然后发现差异很大？你都用的是统一版本的bert-base-uncased？ > > > > > > > > > 我使用turbo_transformers的python api，发现当seq_length为128的时候，每次推理出来的结果都不一样，问一下这个是什么情况？ > > > > > > 根据你对现象的描述，我猜测一个合理的解释是，你的网络中某些层的参数没有加载，是随机的。 > > #turbo_transformers.set_num_threads(4) > 注释掉这个后正常了 你用的是CPU版本还是GPU？这个语句不会影响精度的。
> > > > > > 你用了自己的数据，然后发现差异很大？你都用的是统一版本的bert-base-uncased？ > > > > > > > > > > > > > > > 我使用turbo_transformers的python api，发现当seq_length为128的时候，每次推理出来的结果都不一样，问一下这个是什么情况？ > > > > > >...
v0.6.0版本的GPU实现的GEMM运算不使用tensor core了，精度会和CPU版本对齐。
Why not install a conda in your docker? curl -LO https://repo.anaconda.com/miniconda/Miniconda3-py37_4.8.3-Linux-x86_64.sh
Try to use pip install mkl. And set path of your mkl correctly. https://github.com/Tencent/TurboTransformers/blob/f2d66bc12f0b904328372f472f6379aba50007cc/cmake/FindMKL.cmake#L42
Congratulations. It works. Could you please share your dockerfile or some operation logs for us.