codingl2k1
codingl2k1
Same issue, my gradio version is 3.50.2
Run infer.py, it works.
Same issue on MacOS 14 ``` pkgutil --pkg-info=com.apple.pkg.CLTools_Executables package-id: com.apple.pkg.CLTools_Executables version: 15.0.0.0.1.1694021235 volume: / location: / install-time: 1696925492 ``` I am using the latest version: `rules_foreign_cc-0.10.1`
这个错误是 FlagReranker 的问题，它方法签名写的是返回个 List[float]但实际上返回了个 float：https://github.com/FlagOpen/FlagEmbedding/blob/master/FlagEmbedding/flag_reranker.py#L194 这个问题在xinference 新版已经部分切回 sentence transformers 了，你可以更新版本试试。
Could you update your xinference? 
Chatgml3 does not return the token usage, so return -1 values.
我试了下，可以扩展 translations API，兼容 OpenAI API。OpenAI API 的 translations是没有 language 和timestamp_granularities参数的：https://platform.openai.com/docs/api-reference/audio/createTranscription
已经这么做了。现在这个 PR 是兼容 OpenAI Python client 的，也可以通过 post请求或者 xinference client 传递额外参数给 translations接口。
> 你这个PR没有把prompt参数传递给模型。 还不清楚咋传过去。目前这个 model 是个 https://huggingface.co/docs/transformers/v4.40.1/en/main_classes/pipelines#transformers.AutomaticSpeechRecognitionPipeline 不论是 pipeline 还是generate_kwargs 都没有 prompt 相关的参数。
有个 issue 是关于 whisper pipeline 传 prompt 的：https://github.com/huggingface/transformers/issues/27317 关联的 PR 还没合并：https://github.com/huggingface/transformers/pull/28556