BELLE
BELLE copied to clipboard
special token
你好,请问你使用的tokenizer有没有什么special token呢?是不是只使用了<\s>?训练时候在每个样本最后加上<\s>表示结束,然后inference阶段保留<\s>前的生成结果作为输出?那在多轮对话时,是否要保留历史对话的<\s>?比如输入[prompt1][ans1]<\s>[prompt2],还是[prompt1][ans1][prompt2]?