Firefly icon indicating copy to clipboard operation
Firefly copied to clipboard

Published 20 hours ago • verified publisher icon yangjianxin1

兄弟们 stop_token 有什么用呀

Open Kenneth0901 opened this issue 9 months ago • 2 comments

image 为啥这个地方human和assistant要加这个，stop_token按我的理解 是在sampling策略中识别到立马截断的吗？那在这个地方加上干啥

Kenneth0901 avatar May 11 '24 06:05 Kenneth0901

这里只能有human和assistant这两个字段吗，不能有system字段吗

Chris-Mraz avatar Aug 21 '24 12:08 Chris-Mraz

image 为啥这个地方human和assistant要加这个，stop_token按我的理解 是在sampling策略中识别到立马截断的吗？那在这个地方加上干啥

Assistant的部分是参与loss计算的，我的理解是，这里的stop_token和其他模型的stop_token（如）是一样的，都是模型预测的结尾

Chris-Mraz avatar Aug 22 '24 06:08 Chris-Mraz