压缩历史记录和摘要功能

[swuecho]

有压缩历史记录和摘要功能，不清楚怎么做到的

Originally posted by @oneisall8955 in https://github.com/swuecho/chat/issues/284#issuecomment-1531488302

[swuecho]

盲猜是用chatgpt api 做总结, 然后当消息替换被总结的消息

这个要搞起来可能麻烦一点.

[swuecho]

既然用api 做总结, 那么也可以考虑快照的时候自动生成上下文, 自动做分词. 提取tag 等

[swuecho]

• [x] token > 300, summarize
• [ ] 开启总结模式, 不需要选上下文数目, 所有都在, 超出报错.
• [ ] use llm_summary if available when construct request message