如何在传输声音的同时，加上自定义的文本传到服务器？

[StevenWang30]

Is your feature request related to a problem?

希望在传输声音的同时附带一些文本作为prompt，有特定内容返回之后可以做解码控制。是否需要在服务器端做修改？是否可以支持自己修改？

Describe the solution you'd like.

No response

Describe alternatives you've considered.

No response

Additional context.

No response

[78]

是想要通过文本或者IoT状态变化来主动触发大模型说话？

[StevenWang30]

对，主动触发是一个，同时也希望能自定义prompt。prompt可以分成两种，一种是现在的audio，一种是text。 举个例子：

1. 在震动的时候，主动触发上传大模型，prompt是audio： “”，text：“我感受到了震动，加速度是xxx，结合当前语境，给出合适的表情符号。”
2. 增加特殊的字段生成，比如prompt：“在回复的最后，从{往前，往后，左转，右转}里选择一个并返回。“，通过大模型来控制机器人运动。

[AICoderTudou]

怎么主动触发通过文本主动触发大模型说话啊