FastGPT icon indicating copy to clipboard operation
FastGPT copied to clipboard

提问时使用语音输入只能使用whisper-1模型,配置其他模型不起作用

Open zhapi1780 opened this issue 1 year ago • 9 comments

例行检查

  • [x ] 我已确认目前没有类似 issue
  • [x ] 我已完整查看过项目 README,以及项目文档
  • [ ] 我使用了自己的 key,并确认我的 key 是可正常使用的
  • [x ] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • [ ] 公有云版本
  • [ ] 私有部署版本, 具体版本号: V4.7

问题描述 提问时使用语音输入只能使用whisper-1模型,配置其他模型不起作用 复现步骤 在config.json中配置了 "whisperModel": { "model": "Belle-distilwhisper-large-v2-zh", "name": "Belle-distilwhisper-large-v2-zh", "charsPointsPrice": 0

预期结果 one-api报错日志 2024-04-07 11:16:54 [SYS] 2024/04/07 - 03:16:54 | sync frequency: 600 seconds 2024-04-07 11:18:04 [ERR] 2024/04/07 - 03:18:04 | 2024040703180430326718546609701 | 当前分组 default 下对于模型 whisper-1 无可用渠道 相关截图

zhapi1780 avatar Apr 07 '24 04:04 zhapi1780

没重启

c121914yu avatar Apr 07 '24 04:04 c121914yu

整个镜像down掉重新pull以后还是一样

zhapi1780 avatar Apr 07 '24 04:04 zhapi1780

整个镜像down掉重新pull以后还是一样

那就看文档检查配置文件吧,反正就是配置文件不对。

c121914yu avatar Apr 07 '24 04:04 c121914yu

重新部署了一台机器,一开始配置文件就改动了 "whisperModel": { "model": "Belle-distilwhisper-large-v2-zh", "name": "Belle-distilwhisper-large-v2-zh", "charsPointsPrice": 0 } 音频模型的配置,问题依然存在,查看日志还是报错 2024-04-07 15:07:11 [ERR] 2024/04/07 - 07:07:11 | 2024040707071199019368452712370 | 当前分组 default 下对于模型 whisper-1 无可用渠道 2024-04-07 15:07:11 [GIN] 2024/04/07 - 07:07:11 | 2024040707071199019368452712370 | 503 | 5.065752ms | 172.20.0.5 | POST /v1/audio/transcriptions 我都没有设置 whisper-1 这个模型名字

zhapi1780 avatar Apr 07 '24 07:04 zhapi1780

fastgpt报错日志: 2024-04-07 15:05:33 eF [Error]: Request timed out. 2024-04-07 15:05:33 at af.makeRequest (/app/projects/app/.next/server/chunks/80555.js:21:82224) 2024-04-07 15:05:33 at process.processTicksAndRejections (node:internal/process/task_queues:95:5) 2024-04-07 15:05:33 at async /app/projects/app/.next/server/pages/api/v1/audio/transcriptions.js:1:2856 { 2024-04-07 15:05:33 status: undefined, 2024-04-07 15:05:33 headers: undefined, 2024-04-07 15:05:33 error: undefined, 2024-04-07 15:05:33 code: undefined, 2024-04-07 15:05:33 param: undefined, 2024-04-07 15:05:33 type: undefined 2024-04-07 15:05:33 } 2024-04-07 15:05:33 [ERROR] 2024-04-07 07:05:33 response error: Request timed out.

zhapi1780 avatar Apr 07 '24 07:04 zhapi1780

你确定加载成功了?日志提示模型配置加载成功了?

c121914yu avatar Apr 10 '24 16:04 c121914yu

是的,加载成功了

在 2024-04-11 00:31:33,"Archer" @.***> 写道:

你确定加载成功了?日志提示模型配置加载成功了?

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

zhapi1780 avatar Apr 14 '24 02:04 zhapi1780

是的,加载成功了 在 2024-04-11 00:31:33,"Archer" @.> 写道: 你确定加载成功了?日志提示模型配置加载成功了? — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.>

请问下oneapi上还能接上什么语音模型?

mwnu avatar May 09 '24 16:05 mwnu

我使用 xinference 部署了一个 whisper 接入,发现并没有问题。

c121914yu avatar May 15 '24 12:05 c121914yu

是我自己的原因,安装的ffmpeg版本太低造成的,现在已经好了

zhapi1780 avatar May 27 '24 09:05 zhapi1780

问题已经解决,非常感谢团队的耐心解答

zhapi1780 avatar May 27 '24 09:05 zhapi1780

使用xinference 部署 Belle-distilwhisper-large-v2-zh 中文识别效果特别差,甚至识别出乱码。 是需要其他配置吗?

wangyiyong avatar Jul 05 '24 02:07 wangyiyong

使用xinference 部署 Belle-distilwhisper-large-v2-zh 中文识别效果特别差,甚至识别出乱码。 是需要其他配置吗?

我的本地whisper用的basic模型,识别的都是繁体字而且准确率很差,如何调用其他语音模型

用prompt搞定:以下是普通话录制的会议记录

mwnu avatar Jul 17 '24 21:07 mwnu

是我自己的原因,安装的ffmpeg版本太低造成的,现在已经好了

请问,您是哪个环境下的ffmpeg版本问题导致的?我也是提示:当前分组 default 下对于模型 whisper-1 无可用渠道。我本机xinference ,docker上 xinference 部署whisper都测试,一样的报错。同样的配置在dify可以正常语音输入。

sipeter avatar Jul 23 '24 03:07 sipeter

我也是这个问题,语音模型放one-api里,不管啥模型,该令牌无权使用模型:whisper-1。 文本模型正常,curl测试语音原始地址也是正常的。

eric0095 avatar Sep 05 '24 00:09 eric0095