BELLE icon indicating copy to clipboard operation
BELLE copied to clipboard

special token

Open guozhiyao opened this issue 3 years ago • 0 comments

你好,请问你使用的tokenizer有没有什么special token呢?是不是只使用了<\s>?训练时候在每个样本最后加上<\s>表示结束,然后inference阶段保留<\s>前的生成结果作为输出?那在多轮对话时,是否要保留历史对话的<\s>?比如输入[prompt1][ans1]<\s>[prompt2],还是[prompt1][ans1][prompt2]

guozhiyao avatar Mar 29 '23 05:03 guozhiyao