Slow decoding on Marian v1.10.0

[adjouama]

Bug description

As mentioned in the title, recently, I tested the version 1.10.0. I trained a small model for En-Fr using the --task transformer-base, then when trying to test the new model using marian-server , the response takes more than 10seconds to decode a small paragraph (see below). I am a user of Marian since 1.4 and never had such a behavior till recently on the 1.10. It is to be noted that the translation is very good.

[2021-06-24 15:26:26] Best translation 0 : Pour les études de partage dans cette bande, avec le mode de propagation ionosphérique, la couverture ou les zones de brouillage dépendent de l'heure de la journée, de la saison et des cycles d'activité solaire de 11 ans, ce qui a pour conséquence que les systèmes de transmission en ondes décamétriques peuvent changer de fréquence plus d'une fois dans un seul jour, de sorte qu'il faudra redéfinir régulièrement les paramètres d'étude (toutes les quatre heures par exemple). [2021-06-24 15:26:26] Translation took: 11.46399s

How to reproduce

my training command is as follow model.npz.yml.txt; $MARIAN/build/marian \ --type transformer \ --task transformer-base \ --model model/en-fr/model.npz \ --train-sets data/en-fr/train.en data/en-fr/train.fr \ --max-length 100 \ --vocabs model/en-fr/vocab.enfr.spm model/en-fr/vocab.enfr.spm \ --sentencepiece-options '--normalization_rule_tsv=data/en-fr/nmt_nfkc.tsv' \ --dim-vocabs 75000 75000 \ --mini-batch-fit -w 20000 --maxi-batch 1000 --devices $GPUS \ --early-stopping 10 \ --valid-freq 5000 --save-freq 5000 --disp-freq 500 \ --valid-metrics ce-mean-words perplexity bleu-detok \ --valid-sets data/en-fr/devset.en data/en-fr/devset.fr \ --log model/en-fr/train.log --valid-log model/en-fr/valid.log --tempdir model \ --cost-type ce-mean-words \ --overwrite --keep-best --quiet-translation

Marian server command: ../../build/marian-server -c model/en-fr/model.npz.best-bleu-detok.npz.decoder.yml -d 0 -p 9000 -w 2000

Context

• Marian version: v1.10.0 6f6d4846 2021-02-06 15:35:16 -0800

• CMake command: build_info_all.log

• Log file: train.log

GPU Used for training/decoding: x2 Nvidia Quadro RTX 6000 / CUDA Version: 10.1 / OS Ubuntu 18

Thank you a lot in advance for your help ^^