FastGPT icon indicating copy to clipboard operation
FastGPT copied to clipboard

语音输入能不能做成一个独立的节点?

Open WholeWorld-Timothy opened this issue 1 year ago • 3 comments

例行检查

  • [X] 我已确认目前没有类似 features
  • [X] 我已确认我已升级到最新版本
  • [X] 我已完整查看过项目 README,已确定现有版本无法满足需求
  • [X] 我理解并愿意跟进此 features,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 features 可能会被无视或直接关闭

功能描述 语音输入能不能做成一个独立的节点? 我们本地部署了一个whisper之后,发现一个问题,就是whisper的文字转译不太准确,我们想了一个办法,就是用大模型再修正一遍,这样能实现我们的需求,但是用户体验不是很好,是因为对话框中出现的仍然是未修正的词语,大模型返回了正确的答案,这显得有些怪异,能够把语音输入做成一个独立的节点,反馈到输入框的是一个修正后的答案? 应用场景 whisper的文字转译不太准确,需要经过大模型修正后,才会获得正确的文字。 相关示例 例如语音识别是今日消瘦,我们说的意思是今日销售,大模型能把今日消瘦识别出来,转换今日销售。

WholeWorld-Timothy avatar May 20 '24 09:05 WholeWorld-Timothy

这个,直接把 whiper 模型接口,改动下也可以?

c121914yu avatar May 20 '24 11:05 c121914yu

恩, 也可以的,就是感觉这样是硬编程的,如果在页面上可以配置是不是会更好。

WholeWorld-Timothy avatar May 22 '24 03:05 WholeWorld-Timothy

这个,直接把 whiper 模型接口,改动下也可以?

大哥,怎么弄语音输入啊?我头都大了,dicker跑了个whisper 接了oneapi,一点用没有,到oneapi是通的,但是点语音输入没反应怎么弄啊

ifkd111 avatar May 23 '24 08:05 ifkd111

用xinference部署whisper,跟one接通了,但是fastgpt一点,就是您的浏览器不支持语音输入,也不能触发asr服务

Caesar1993 avatar May 31 '24 01:05 Caesar1993

这个,直接把 whiper 模型接口,改动下也可以?

大哥,怎么弄语音输入啊?我头都大了,dicker跑了个whisper 接了oneapi,一点用没有,到oneapi是通的,但是点语音输入没反应怎么弄啊

浏览器支持且有 ssl 证书

c121914yu avatar May 31 '24 04:05 c121914yu

例行检查

  • [x] 我已确认目前没有类似 features
  • [x] 我已确认我已升级到最新版本
  • [x] 我已完整查看过项目 README,已确定现有版本无法满足需求
  • [x] 我理解并愿意跟进此 features,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 features 可能会被无视或直接关闭

功能描述 语音输入能不能做成一个独立的节点? 我们本地部署了一个whisper之后,发现一个问题,就是whisper的文字转译不太准确,我们想了一个办法,就是用大模型再修正一遍,这样能实现我们的需求,但是用户体验不是很好,是因为对话框中出现的仍然是未修正的词语,大模型返回了正确的答案,这显得有些怪异,能够把语音输入做成一个独立的节点,反馈到输入框的是一个修正后的答案? 应用场景 whisper的文字转译不太准确,需要经过大模型修正后,才会获得正确的文字。 相关示例 例如语音识别是今日消瘦,我们说的意思是今日销售,大模型能把今日消瘦识别出来,转换今日销售。

请问有进展吗? 另外如何用大模型修正的

goactiongo avatar Aug 04 '24 23:08 goactiongo