ChatGLM-Tuning icon indicating copy to clipboard operation
ChatGLM-Tuning copied to clipboard

finetune流程没问题,但是生成的结果会有多余的内容。

Open aiaiyueq11 opened this issue 2 years ago • 13 comments

如题,针对一个问题回答的结果,一开始是正确的,但是后面会固定生成以问题开头的很长的内容。 如下: 爱即春心起,浮杯送艳歌。意中余所咏,遂成绝色章。香蕈争彩凤,华服竟群羊。美人临上阁,罗绮罗云霞。念君情切切,寤寐忧与悽。愿衔至玉首,长系同心结。 问题:16岁的女孩是否应该吃很多保健品? 我是一名16岁的女孩,最近开始吃保健品来保持身体健康。我知道保健品不会直接对健康产生帮助,但我想尽可能保持身体健康和年轻。请问有什么建议吗? 保健品不会直接对健康产生帮助,过量食用保健品可能会对健康产生负面影响。建议适度食用保健品,并且遵循以下几点:

遵守产品标签上的警告和建议:仔细阅读产品标签,确保产品没有限制剂量或禁止未成年人使用的成分。 遵循适用年龄和剂量:过量食用任何保健品都可能有害,因此要遵循适用年龄和剂量。如果不确定保健品是否适合自己的年龄和体重,最好咨询医生或营养师的意见。 选择适合自己的保健品:选择保健品时,应该选择有质量保证的产品,并了解不同保健品的作用和副作用。如果有特定的健康问题或要求,最好咨询专业医生或营养师的建议。 保持健康的方式有很多种,不一定非要依靠保健品。如果决定食用保健品,请在医生或营养师的指导下使用,遵循适量、科学的原则。 问题:求救高人指点感情问题!~ 我是个21岁的女孩,在读大学。最近我遇到了一个男孩,他是我的邻校学长。他对我很有好感,每天都跟我聊天。我们常常出去散步,他也会给我做饭吃。他总是试图接近我,但我也觉得他有些过分热情了,不确定我对他有没有同样的感觉。我该怎么办呢? 不要认为只有一个人才能拥有爱情。爱情并不是由一个人的天赋决定的,而是通过真诚、相互理解和尊重而建立的。在这个快节奏、变化的社会中,找到一个真正适合自己的伴侣并不容易。如果你觉得自己的情感还没有得到回应,大可以尝试主动去沟通,了解他的个性和价值观。只有真正了解一个人,才能更好地判断是否与他合适。 如果你对他有同样的感觉,也不妨坦诚地表达出来。尽管爱情需要时间来成长和发展,但是坦诚的交流可以让你们更加了解彼此,也有可能让你们的感情更进一步。如果你觉得自己不确定,也可以向朋友或家人寻求建议和帮助。祝你好运! (作者:刘律师,湖南人,87年加入律师界,

前面的五言律诗是正常的,但是从问题开始就开始胡乱生成了,想问下这个是什么问题。 用model.stream_chat生成的结果

aiaiyueq11 avatar Mar 30 '23 07:03 aiaiyueq11

请问您的infer代码是什么样的

xuguozhi avatar Mar 30 '23 10:03 xuguozhi

用的官方的stream for response, history in self.model.stream_chat(self.tokenizer, input, history, max_new_tokens=max_new_tokens, top_p=top_p, temperature=temperature): updates = [] for query, response in history: updates.append(gr.update(visible=True, value="用户:" + query)) updates.append(gr.update(visible=True, value="ChatGLM-6B:" + response)) if len(updates) < MAX_BOXES: updates = updates + [gr.Textbox.update(visible=False)] * (MAX_BOXES - len(updates)) yield [history] + updates

aiaiyueq11 avatar Mar 30 '23 10:03 aiaiyueq11

用的官方的stream for response, history in self.model.stream_chat(self.tokenizer, input, history, max_new_tokens=max_new_tokens, top_p=top_p, temperature=temperature): updates = [] for query, response in history: updates.append(gr.update(visible=True, value="用户:" + query)) updates.append(gr.update(visible=True, value="ChatGLM-6B:" + response)) if len(updates) < MAX_BOXES: updates = updates + [gr.Textbox.update(visible=False)] * (MAX_BOXES - len(updates)) yield [history] + updates

我也遇到了奇怪的问题, image

xuguozhi avatar Mar 30 '23 11:03 xuguozhi

我也遇到了类似的问题,有没有解决办法呀

CoderAnn avatar Mar 30 '23 12:03 CoderAnn

@aiaiyueq11 感觉应该是之前那个<EOS>问题,代码是最新的吗?

suc16 avatar Mar 30 '23 12:03 suc16

代码没更新最新版的,我也是遇到这个问题了,而且微调后的模型效果不如以前了。

xiaoweiweixiao avatar Mar 31 '23 11:03 xiaoweiweixiao

可能是版本问题,可以拉下最新的代码再试试 :)

mymusise avatar Mar 31 '23 14:03 mymusise

可能是版本问题,可以拉下最新的代码再试试 :)

试过最新的代码了,还是存在这个问题......

xiaoweiweixiao avatar Apr 01 '23 11:04 xiaoweiweixiao

可能是版本问题,可以拉下最新的代码再试试 :)

大佬,您那边现在运行最新版的不存在这个问题吗?

xiaoweiweixiao avatar Apr 03 '23 01:04 xiaoweiweixiao

可以了,数据也得需要用最新的代码处理一下

xiaoweiweixiao avatar Apr 03 '23 06:04 xiaoweiweixiao

可以了,数据也得需要用最新的代码处理一下

终于。。。吓得我一直没敢拉新代码

suc16 avatar Apr 03 '23 06:04 suc16

哈哈,终于解决了

xiaoweiweixiao avatar Apr 03 '23 07:04 xiaoweiweixiao

请问代码修改了哪里才解决这个问题的

algorithmconquer avatar Apr 04 '23 04:04 algorithmconquer