HuaTeng Ma

Results 1 comments of HuaTeng Ma

docker运行镜像cpu模式下，cpu的利用率最大只有1600%，如何提升？

> > 环境变量num_threads可以设置线程数 > > 还请指教，num_threads这个参数具体在哪里设置，谢谢！ 开2个页面访问，一个正常输出，第二个等待； 一个正常输出 ![image](https://github.com/li-plus/chatglm.cpp/assets/13896935/6c16c5cf-6083-4a4f-85e3-63f4e68ef7aa) 第二个页面等待，第一个结束，就正常输出了 ![image](https://github.com/li-plus/chatglm.cpp/assets/13896935/0e90c2d5-e821-4837-9ac4-3b29f34e21d2) 你知道原因吗，难道单线程跑？我跑得是下面 chatglm6b-v3.1 ![image](https://github.com/li-plus/chatglm.cpp/assets/13896935/7872eac7-bcd2-4206-947e-cc543a92b874) ![image](https://github.com/li-plus/chatglm.cpp/assets/13896935/ef4d9d73-946c-4c58-940b-2f6a82e85845) ![image](https://github.com/li-plus/chatglm.cpp/assets/13896935/c12b2b2a-6a56-41c3-b2ee-a8dfbd6c9624)