EthanYe

[BUG]LLaMA2-7B服务首token延时异常

5

lightllm commit id：718e6d6dfffc75e7bbfd7ea80ba4afb77aa27726 模型链接：https://huggingface.co/Linly-AI/Chinese-LLaMA-2-7B-hf 启动服务命令：python -m lightllm.server.api_server --model_dir Linly-AI/Chinese-LLaMA-2-7B-hf --host 0.0.0.0 --port 8100 --tp 1 --max_total_token_num 120000 --tokenizer_mode auto --trust_remote_code 测试发现首token延时很高，约3s左右，可以使用上面的模型和启动命令复现问题，辛苦看看是什么原因导致的呢？