w066650

**System information** debian 11 **Describe the current behavior** test Failure for TEST_F(OptimizerFusionTest, LSTMControlInputs) in optimizer_fusion_engine_test.cc **Other info / logs** Before rewrites: A(Input);B(Input);C(Input);D(BiasAdd);E(Const);F(Split);G(Sigmoid);H(Tanh);I(Const);J(Add);K(Sigmoid);L(Sigmoid);M(Mul);N(Mul);O(Add);P(Tanh);Q(Mul);R(Identity);S(Identity)|A->D;A:control->D:control;B->N;C->D:1;D->F:1;E->F;F->G;F:1->H;F:2->J;F:3->L;G->M;H->M:1;I->J:1;J->K;K->N:1;L->Q:1;M->O:1;N->O;O->P;O->R;P->Q;Q->S After rewrites: A(Input);B(Input);C(Input);D(BiasAdd);E(Const);F(Split);G(Sigmoid);H(Tanh);I(Const);J(Add);K(Sigmoid);L(Sigmoid);M(Mul);N(Mul);O(Add);P(Tanh);Q(Mul);R(Identity);S(Identity)|A->D;A:control->D:control;B->N;C->D:1;D->F:1;E->F;F->G;F:1->H;F:2->J;F:3->L;G->M;H->M:1;I->J:1;J->K;K->N:1;L->Q:1;M->O:1;N->O;O->P;O->R;P->Q;Q->S tensorflow/core/graph/optimizer_fusion_engine_test.cc:373: Failure Expected equality of...

推理出现乱码（показать показать показать показать показать）（USE_NEW_DEVICE_IMPL=1）

1

rtp version：0.2.0 （2.1.0+cu121） 显卡：NVIDIA_A100-PCIE-40GB 模型：glm-4-9b-chat 推理方式： export USE_RPC_MODEL=1 export USE_NEW_DEVICE_IMPL=1 推理结果： content":" показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать...

model:Qwen1.5-7B-sft Engine version 0.13.0.dev2024082000 log: [TensorRT-LLM][INFO] Memory usage when calculating max tokens in paged kv cache: total: 39.39 GiB, available: 21.89 GiB [TensorRT-LLM][INFO] Number of blocks in KV cache primary...

qwen2（7b） generate duplicate text

9

model: Qwen2-7B trt-llm: Engine version 0.13.0.dev2024082000 config: "temperature":0.1, "top_k":50, "top_p":0.9,", "stream":false output: 来听听Radiohead的《High and Dry》，high一点的歌，让你的心情high起来！\n歌曲信息：《High and Dry》Radiohead；\n歌曲描述：无。\n来听听Radiohead的《High and Dry》，high一点的歌，让你的心情high起来！\n歌曲信息：《High and Dry》Radiohead；\n歌曲描述：无。\n来听听Radiohead的《High and Dry》，high一点的歌，让你的心情high起来！\n歌曲信息：《High and Dry》Radiohead；\n歌曲描述：无。\n来听听Radiohead的《High and Dry》，high一点的歌，让你的心情high起来！\n歌曲信息：《High and Dry》Radiohead；\n歌曲描述：无。\n来听听Radiohead的《High and...