关于Claude和gemini的token处理

[Violettttee]

想请问下看代码有看到gpt是用tiktoken来处理的，那对于claude和gemini也是使用4o的tiktoken吗？（代码里好像没有看到这部分）

[bys0318]

因为claude没有提供它们的tokenizer，我们在测试时也使用4o的tiktoken作截断，并使用二分查找找到按多少长度截断时不会报错（输入长度超过模型窗口长度会报错）。gemini我们目前还没有评测。