rtp-llm icon indicating copy to clipboard operation
rtp-llm copied to clipboard

推理出现乱码(показать показать показать показать показать)(USE_NEW_DEVICE_IMPL=1)

Open w066650 opened this issue 1 year ago • 1 comments

rtp version:0.2.0 (2.1.0+cu121) 显卡:NVIDIA_A100-PCIE-40GB 模型:glm-4-9b-chat

推理方式: export USE_RPC_MODEL=1 export USE_NEW_DEVICE_IMPL=1

推理结果: content":" показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать показать

请问下,是哪里没有设置好吗?

w066650 avatar Aug 09 '24 04:08 w066650

可以配置一下FT_DEBUG_PRINT_LEVEL=DEBUG看看中间输出结果是否正常

ySingularity avatar Aug 20 '24 09:08 ySingularity