设备拍照图片上传的协议更新

[xinnan-tech]

Is your feature request related to a problem?

有群友期望具有摄像能力的设备，拍照后，可将数据传输至服务器。希望虾哥团队新增一下后端接收图片的接口协议。

Describe the solution you'd like.

他提出，前端设备拍照后，按此协议进行传输，是否可行？

{
"type": "img",
"base64":"base64编码"

Describe alternatives you've considered.

No response

Additional context.

No response

[78]

图片是什么格式，有mime吗，设备上编码成jpeg大概是多少的体积，这个走mqtt还是websocket，可能需要拉个讨论群组针对这个进行设计。

[YILI245]

好主意呢！同求

[jinbiaode]

我也需要对图片或者视频进行上传分析的这种需求

[peterpanstechland]

插眼

[zhangdszq]

同求

[CrisXie4]

同求！

[LanceCuby]

好主意，让有摄像头的设备支持拍照AI识图。协议可以参考下那些识图大模型的接口设计，融入到现在协议中。

[666666g]

同求！

[celesteStars]

有群踢我

[666666g]

我已经有了初步实现，但是被触发方式问题所困扰，有没有感兴趣的大佬来支援一下，vx：my46532

[78]

我已经有了初步实现，但是被触发方式问题所困扰，有没有感兴趣的大佬来支援一下，vx：my46532

这周会先扩展IoT主动触发对话的协议。

[vonweller]

我已经有了初步实现，但是被触发方式问题所困扰，有没有感兴趣的大佬来支援一下，vx：my46532

这周会先扩展IoT主动触发对话的协议。

目前已经适配所有支持视觉能力的llm，触发方式可以是iot也可以是拓展的协议 开源python地址 https://github.com/vonweller/PyxiaozhiVL

[fliaping]

单图片这么做可以，还有视频流场景，模型参考Qwen2.5-Omni

[78]

单图片这么做可以，还有视频流场景，模型参考Qwen2.5-Omni

适合建立 WebRTC 通道。

[Gitsifu]

单图片这么做可以，还有视频流场景，模型参考Qwen2.5-Omni

允许接入全模态模型这个想法非常的酷！

[dissipator]

好主意呢！同求 https://github.com/XuSenfeng/xiaozhi-alarm/tree/touch 这个有lichuang 的固件的，能弄个sparkbot的就更好了。我不会移植

[tju-wang]

好主意呢！同求 https://github.com/XuSenfeng/xiaozhi-alarm/tree/touch 这个有lichuang 的固件的，能弄个sparkbot的就更好了。我不会移植

doing

[dissipator]

期待中

[Oreofilling]

插眼