ChatGPT-Telegram-Workers icon indicating copy to clipboard operation
ChatGPT-Telegram-Workers copied to clipboard
verified publisher icon TBXark

fix: 自动裁剪时算入初始消息的token长度

Open MiracleXYZ opened this issue 3 years ago • 2 comments

  • 自动裁剪时算入初始消息的token长度
  • 根据token裁剪时，从第 i + 1 个元素开始保留

MiracleXYZ avatar Mar 08 '23 13:03 MiracleXYZ

感觉dev里面添加了token使用统计之后能用真实的token数量而不是单纯字符串的长度了，之后可能直接优化这个代码直接使用openai返回的token数量

TBXark avatar Mar 08 '23 15:03 TBXark

感觉dev里面添加了token使用统计之后能用真实的token数量而不是单纯字符串的长度了，之后可能直接优化这个代码直接使用openai返回的token数量

嗯，如果能直接用OpenAI的token数量会更准确；一般来说中文token的数量会大于字符串的长度。

MiracleXYZ avatar Mar 08 '23 15:03 MiracleXYZ

原来到底自动裁剪时算入初始消息的token长度 @Cheivin 看一下

TBXark avatar Mar 09 '23 05:03 TBXark