Yuhang Zhou
Yuhang Zhou
推理完就可以手动释放显存
> 我做了一些修改，可以运行了，后续可以传上来
> Expected all tensors to be on the same device, but found at least two devices 指定device,把数据和模型都放到一个device上就行
> 需要改动两处： 1.def _history_len(self) -> int: return self.history_len > > def set_history_len(self, history_len: int) -> None: self.history_len = history_len 2.tokenizer出现的地方都改为这个self.checkPoint.tokenizer 但是之后还是会提示 Setting `pad_token_id` to `eos_token_id`:106068 for open-end generation. 有时候可以加载进来，有时候不行提示RuntimeError: Expected...
> > > Expected all tensors to be on the same device, but found at least two devices > > > > > > 指定device,把数据和模型都放到一个device上就行 > > 大佬，请问可以在参数里指定吗还是需要在代码里改呀 在代码里改，把模型和数据.to(device)里，然后MOSS的prompt还需要加上一个尾标：
您好，感谢您的提问！测试数据涉及了多个知识图谱，所以我们在测试集中给每个query都标记了其对应的class，也就是对应的图谱，所以不需要进行图谱判断。同时，在真实环境中，一般一套系统底层只会对应一个图谱，所以也无需进行判断。