AnyText
AnyText copied to clipboard
您好,我想知道对于输入prompt的预处理代码在哪个位置
我通过调试发现模型会首先将 prompt 中双引号部分改为星号。我想知道这部分处理的代码具体在哪里? 另外,这个星号(*)是先和 prompt 其他部分一起做 tokenizer 转为 embeddings,然后双引号内原本的内容单独处理,最后在 embeddings 中作替换吗?