chatgpt-on-wechat icon indicating copy to clipboard operation
chatgpt-on-wechat copied to clipboard

修复chat_channel配置参数取值错误bug,增加ContextType.IMAGE支持,使其集成Midjourney插件时可以图生文和图生图; 优化dingtalk_channel回复打字机效果流式 AI卡片、dingtalk_message图片或富文本消息接收。

Open baojingyu opened this issue 1 year ago • 8 comments

修复chat_channel配置参数取值错误bug,增加ContextType.IMAGE支持,使其集成Midjourney插件时可以图生文和图生图; 优化dingtalk_channel回复打字机效果流式 AI卡片、dingtalk_message图片或富文本消息接收。

baojingyu avatar May 17 '24 07:05 baojingyu

需要在之前的教程中增加什么步骤或者权限嘛? image

6vision avatar May 17 '24 09:05 6vision

需要在之前的教程中增加什么步骤或者权限嘛? image

请检查dingtalk 开发者应用,卡片权限是否有申请,建议debug 看response 内容。

baojingyu avatar May 17 '24 17:05 baojingyu

需要在之前的教程中增加什么步骤或者权限嘛? image

调用互动卡片相关接口前,需要添加互动卡片接口权限。 https://open.dingtalk.com/document/orgapp/permission-request

baojingyu avatar May 17 '24 17:05 baojingyu

需要在之前的教程中增加什么步骤或者权限嘛? image

钉钉通用错误码 https://open.dingtalk.com/document/personalapp/error-code-2

baojingyu avatar May 17 '24 17:05 baojingyu

需要在之前的教程中增加什么步骤或者权限嘛? image

调用互动卡片相关接口前,需要添加互动卡片接口权限。 https://open.dingtalk.com/document/orgapp/permission-request

明白了,需要在原本基础上增加两个权限:【AI卡片流式更新权限和互动卡片实例写权限】

6vision avatar May 18 '24 07:05 6vision

1、新增 ContextType.IMAGE 的那部分,初次匹配过滤引用以及群聊私聊部分的逻辑应该是冗余的吧? 2、钉钉卡片的流式输出效果很好,不过好像是拿到全部生成的回复再流式输出,能否结合大模型(bot)的流式输出,来进一步优化提升响应速度呀?

6vision avatar May 18 '24 08:05 6vision

1、新增 ContextType.IMAGE 的那部分,初次匹配过滤引用以及群聊私聊部分的逻辑应该是冗余的吧? 2、钉钉卡片的流式输出效果很好,不过好像是拿到全部生成的回复再流式输出,能否结合大模型(bot)的流式输出,来进一步优化提升响应速度呀?

1、新增 ContextType.IMAGE 的这部分,可以和 ContextType.TEXT 逻辑合并。 2、各大平台暂未提供SSE协议通信,包括OpenAPI(https://api.openai.com/v1/chat/completions),目前业内的常采用方案都是通过回复结果做的流式输出。

baojingyu avatar May 18 '24 08:05 baojingyu

1、新增 ContextType.IMAGE 的那部分,初次匹配过滤引用以及群聊私聊部分的逻辑应该是冗余的吧? 2、钉钉卡片的流式输出效果很好,不过好像是拿到全部生成的回复再流式输出,能否结合大模型(bot)的流式输出,来进一步优化提升响应速度呀?

1、新增 ContextType.IMAGE 的那部分,初次匹配过滤引用以及群聊私聊部分的逻辑应该是冗余的吧? 这部分代码,并不冗余,155行context.type = ContextType.TEXT,224行context.type = ContextType.IMAGE

baojingyu avatar May 21 '24 02:05 baojingyu

这里 conf().get("single_chat_reply_prefix", [""])[0] 会拿到字符串的第一个字符,而不是数组的第一个元素,修改了一下

Saboteur7 avatar Jun 04 '24 02:06 Saboteur7

感谢PR!

Saboteur7 avatar Jun 04 '24 02:06 Saboteur7

请问 钉钉机器人使用流卡片回复群类的@提问,回复的内容为什么仅提问方可见,群里其他人不可见?怎么解决卡片回复的内容群里所有人均可见呢?

Alenccu avatar Jun 17 '24 03:06 Alenccu

请问 钉钉机器人使用流卡片回复群类的@提问,回复的内容为什么仅提问方可见,群里其他人不可见?怎么解决卡片回复的内容群里所有人均可见呢?

我也有这个问题

Qs-Tim avatar Jul 15 '24 13:07 Qs-Tim

请问 钉钉机器人使用流卡片回复群类的@提问,回复的内容为什么仅提问方可见,群里其他人不可见?怎么解决卡片回复的内容群里所有人均可见呢?

我也有这个问题

已解决,把dingtalk_channel.py中reply_with_ai_markdown()中的recipients属性置为空就行了(这个是用来指定接受者的) image

Qs-Tim avatar Jul 16 '24 02:07 Qs-Tim

1、新增 ContextType.IMAGE 的那部分,初次匹配过滤引用以及群聊私聊部分的逻辑应该是冗余的吧? 2、钉钉卡片的流式输出效果很好,不过好像是拿到全部生成的回复再流式输出,能否结合大模型(bot)的流式输出,来进一步优化提升响应速度呀?

1、新增 ContextType.IMAGE 的这部分,可以和 ContextType.TEXT 逻辑合并。 2、各大平台暂未提供SSE协议通信,包括OpenAPI(https://api.openai.com/v1/chat/completions),目前业内的常采用方案都是通过回复结果做的流式输出。

打字机效果的输出卡片能否立即生成,现在需要等待文本回复后,再生成卡片,显得非常奇怪。

BladeElite avatar Jul 16 '24 08:07 BladeElite

@baojingyu @Saboteur7 大佬您好,我已经按上述添加了【AI卡片流式更新权限和互动卡片实例写权限】的权限,重新发布了钉钉应用和重启了docker,现在钉钉回复还是带** ##的,并没有卡片式的效果,大概是哪里出了问题呢~

3377 avatar Feb 18 '25 09:02 3377