Ethan Patterson

用vllm项目的API部署，成功启动后，运行client_test.py后出现如下问题：  请问各位大佬我该如何解决？

请问各位大佬，我在用该框架中的vllm加速baichuan2-13b时，按照步骤来创建了vllm的环境和依赖，运行后一直卡在这很久，但显存又在慢慢增加，是怎么回事呢？ 

When I deployed internlm-20b-4bit using this framework, I commented out this part of the code and entered "Hello" in the generated browser, but there was no output or error. Therefore,...

windows系统下用wsl2部署该项目

1

环境：python=3.8，jittor=1.3.7.10，jtorch=0.1.7，在按照readme安装完后运行下列命令： export JT_SYNC=1 export trace_py_var=3 export JT_SAVE_MEM=1 export cpu_mem_limit=10000000000 export device_mem_limit=8000000000 conda activate jittorllm cd JittorLLMs/ python cli_demo.py chatglm 然后出现如下问题： [i 1015 22:19:39.834705 92 __init__.py:227] Total mem: 12.35GB, using 4...