lixiang1991

我用wsl2作为运行环境，启动internlm-chat-7b-8k，最终在wslconfig改成memory=40GB才启动成功。低于这个就会报killed。启动完以后内存占用就降下来了，只有4G。显存占用14.3G，我的4080只有16G显存也可以运行。更长一点的上下文就不行了，会报显存溢出。chatglm2-6b可以处理很长的上下文。