ChuanhuChatGPT icon indicating copy to clipboard operation
ChuanhuChatGPT copied to clipboard

[Bug]: token相关问题

Open tusik opened this issue 1 year ago • 0 comments

这个bug是否已存在现有issue了?

  • [X] 我确认没有已有issue,且已阅读常见问题

错误表现

1.在当前对话中切换模型,导致all_token_count被清空,使得实际history已经超过token limit,但是仍然会发送。 2.在重新载入对话,及新客户端登录,切换用户时,载入了history但是不会重新计算当前对话的token,导致同上问题。

复现操作

同上

错误日志

No response

运行环境

  • OS:
  • Browser:
  • Gradio version:
  • Python version:

帮助解决

  • [X] 我愿意协助解决!

补充说明

我对于all_token_count有一些疑问,在切换对话时,all_token_count貌似是会在对话间转移,在保持会话的情况下不同的对话都会添加到里面。是否应该将all_token_count改为储存当前对话的所有token,并在切换对话、重新载入对话时重新计算历史token,切换模型时继承all_token_count。

如果可以的话我可以提交一个PR来修改

tusik avatar Jan 17 '24 03:01 tusik