DKKAMan

同出这个问题，我那边是出现130527超出索引，是自己from_hf后转换的模型，所以我把之前那个版本的fastllm弄回来了，就没出现这个问题。之前那版chatglm的chat里max_length\topp\topk这些参数都没用到， @ztxz16 可以看下是不是最近增加这些参数的调用后出错了。

> > 同出这个问题，我那边是出现130527超出索引，是自己from_hf后转换的模型，所以我把之前那个版本的fastllm弄回来了，就没出现这个问题。之前那版chatglm的chat里max_length\topp\topk这些参数都没用到， @ztxz16 可以看下是不是最近增加这些参数的调用后出错了。 > > 130527的话，是一代的模型吗 我这边用新版本跑我之前生成的模型看起来是正常的，可以发一下具体运行的程序吗，我看一下是什么情况下出错的 是一代模型，以下是当时我调用后报错的代码，current_path就是本地huggingface模型的位置，有意思的是当时如果我用原始模型的chat是没事的： ``` self.model = AutoModel.from_pretrained(current_path, config=self.config, trust_remote_code=True).half() self.model = llm.from_hf(self.model, self.tokenizer, dtype = "float16") # dtype支持 "float16", "int8", "int4" response, history...

同求！感觉这个实现会很强！8K上下文太有诱惑了