moon

fix a bug in getting the value of prev_word_inds

1

"//" cannot be used directly, because if the value of tensor is negative, it is equivalent to "trunc", not "floor"

研究了半天的代码，发现在刷狗粮那个方法gameModeStory里面的一些问题，或者说没有理解的地方： 1、似乎只有确认房主才能在确定邀请好友后，才会点击探索按钮，好像单人自己刷的话无法在一轮结束后点击探索按钮继续刷下一轮 2、只有非房主下才能自动换狗粮，并且换狗粮过程中会自动将三个满级的式神都换掉，如果开启单人模式那么会换掉狗粮队长，感觉这个换狗粮就只能司机用。 3、代码流程大概懂了，但是具体细节还不是很清楚，自己摸索了很久也没有发现怎么开启单人探索，最终看代码发现功能2基本上都是为双开准备的，有点头疼，，，希望大佬解答一下，谢谢了

[BUG/Help] <title>chatglm-6b-int4训练和推理都会导致服务器重启，然后显卡无法识别，硬盘丢失挂载

1

### Is there an existing issue for this? - [X] I have searched the existing issues ### Current Behavior 服务器显卡为1080TI，系统为Ubuntu 16.04.5 LTS。 使用P-Tuning v2的微调方式，所有配置和文档中保持一致，修改了模型为chatglm-6b-int4，数据集以及per_device_train_batch_size=4，gradient_accumulation_steps=4 其中一台服务器在训练开始几十分钟后无法连接，待服务器重启后，硬盘丢失挂载，显卡正常识别。 另一台服务器在训练开始几十分钟后也无法连接，服务器自动重启后，发现硬盘丢失挂载，重新挂载后再次启动模型训练，在几十分钟后服务器再次中断连接，等待其重启后，发现NVIDIA显卡驱动丢失，无法识别到NVIDIA显卡，硬盘丢失挂载。  第三台服务器成功训练完个人数据集，3000step，然后使用ChatGLM-6B-PT中的部署方式启动ipynb进行推理测试，测试前期一切正常，直到半个小时后，服务器突然中断，待其重启后，硬盘丢失挂载，NVIDIA显卡驱动丢失，但是可以识别到NVIDIA显卡。  上面所有的训练、测试过程中，显存都处于正常状态，并且开始都正常运行，只是突然服务器发生中断。...

ChatGLM LoRA微调之后，量化quantize=8显存、推理耗时都反向增加

1

不使用量化的推理显存占用14GB，使用量化8之后显存占用20GB，量化4则占用17GB，请问是什么原因导致？ 显卡是A100 80G