huggingface-tokenizer-in-cxx icon indicating copy to clipboard operation
huggingface-tokenizer-in-cxx copied to clipboard

Published 20 hours ago • verified publisher icon wangkuiyi

中文支持的情况

Open sgxu opened this issue 2 years ago • 0 comments
trafficstars

你好，貌似我们这个工程不支持中文切词 ？ 请问 merges.txt 和 vocab.txt 是什么关系呢 ？ 我有一份包含中文的 vocab.txt 文件，但是没有对应的 merges.txt

sgxu avatar May 07 '23 02:05 sgxu