ChuanhuChatGPT
ChuanhuChatGPT copied to clipboard
[Bug]: token相关问题
这个bug是否已存在现有issue了?
- [X] 我确认没有已有issue,且已阅读常见问题。
错误表现
1.在当前对话中切换模型,导致all_token_count被清空,使得实际history已经超过token limit,但是仍然会发送。 2.在重新载入对话,及新客户端登录,切换用户时,载入了history但是不会重新计算当前对话的token,导致同上问题。
复现操作
同上
错误日志
No response
运行环境
- OS:
- Browser:
- Gradio version:
- Python version:
帮助解决
- [X] 我愿意协助解决!
补充说明
我对于all_token_count有一些疑问,在切换对话时,all_token_count貌似是会在对话间转移,在保持会话的情况下不同的对话都会添加到里面。是否应该将all_token_count改为储存当前对话的所有token,并在切换对话、重新载入对话时重新计算历史token,切换模型时继承all_token_count。
如果可以的话我可以提交一个PR来修改