poe-openai-proxy icon indicating copy to clipboard operation
poe-openai-proxy copied to clipboard

好像没有对话上下文

Open wingeva1986 opened this issue 1 year ago • 2 comments

对于poe的某个账号与某个ai对话,在poe官网是可以有上下文的,由poe内部实现,但是现在repo的写法并不支持。是否可以提供个有上下文的对话接口呢?(比如可以token和model作为conversationid,用户不带conversationi提问就返回新的conversationid,下次提问带了cid就用这个token去请求poe)

wingeva1986 avatar May 03 '23 01:05 wingeva1986

目前的做法是程序自己管理对话上下文,也就是每次都进行clear context之后向poe发送完整的对话上下文。这也是openai api规范的实现方法。

你提到的应该是依靠poe来管理对话上下文。这种也可以实现,不过带来的问题也很明显,比如在多用户或者多对话的情况下,开始了某个对话,为了保持poe的上下文就不能发送clear context,相当于这个用户开始独占了这个对话框,这个token就被锁死在这个对话上了,不知道什么时候会被释放。于是可能需要消耗无穷无尽的token。

juzeon avatar May 03 '23 02:05 juzeon

目前的做法是程序自己管理对话上下文,也就是每次都进行clear context之后向poe发送完整的对话上下文。这也是openai api规范的实现方法。

你提到的应该是依靠poe来管理对话上下文。这种也可以实现,不过带来的问题也很明显,比如在多用户或者多对话的情况下,开始了某个对话,为了保持poe的上下文就不能发送clear context,相当于这个用户开始独占了这个对话框,这个token就被锁死在这个对话上了,不知道什么时候会被释放。于是可能需要消耗无穷无尽的token。

原来如此,我先部署对接到其他程序试试~

wingeva1986 avatar May 03 '23 04:05 wingeva1986