self-llm icon indicating copy to clipboard operation
self-llm copied to clipboard

Published 20 hours ago • verified publisher icon datawhalechina

LlaMA3在英文或者中文上tokenizer是否需要加bos token？

Open sugarandgugu opened this issue 8 months ago • 2 comments

你好，我有一些疑惑，看了一些其他的教程发现他们在tokenizer的时候是没有设置add_spec_tokens的，请问这个有什么说法吗？

sugarandgugu avatar Jun 06 '24 16:06 sugarandgugu