ChatGLM-Finetuning icon indicating copy to clipboard operation
ChatGLM-Finetuning copied to clipboard

Published 20 hours ago • verified publisher icon liucongg

如何训练长文本数据

Open HANiFLY opened this issue 1 year ago • 1 comments

RT，现在的模型会把超出最长限度的文本截断，但是这在做文本摘要的时候可能出现标签（输出）的部分内容事实上对应的是被截断的文本。请问如何解决这一问题，即保留完整文本进行训练？

HANiFLY avatar Apr 26 '23 02:04 HANiFLY