FunASR

FunASR copied to clipboard

测试音频： https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_speaker_demo.wav

重现步骤：

docker pull \
  registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-0.4.6
mkdir -p ./funasr-runtime-resources/models
docker run -p 10095:10095 -it --privileged=true \
  -v $PWD/funasr-runtime-resources/models:/workspace/models \
  registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-0.4.6

#docker启动之后，进入到docker里边启动docker启动之后，进入到docker里边启动 
cd FunASR/runtime
nohup bash run_server.sh --download-model-dir /workspace/models --vad-dir damo/speech_fsmn_vad_zh-cn-16k-common-onnx --model-dir iic/SenseVoiceSmall-onnx --punc-dir damo/punc_ct-transformer_cn-en-common-vocab471067-large-onnx --lm-dir damo/speech_ngram_lm_zh-cn-ai-wesp-fst --itn-dir thuduj12/fst_itn_zh --hotword /workspace/models/hotwords.txt > log.txt 2>&1

wget https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_speaker_demo.wav

#1. 然后用funasr_wss_client.py进行测试
python3 python/websocket/funasr_wss_client.py --host "127.0.0.1" --port 10095 --mode offline --audio_in "asr_speaker_demo.wav"
#测试结果：
pid0_0: demo: <|yue|><|SAD|><|Speech|> 上讲笑好.<|zh|><|SAD|><|Speech|> 能够和起微龙话呢。<|zh|><|SAD|><|Speech|> 一起来讨论。<|en|><|EMO_UNKNOWN|><|Speech|> Ws.<|zh|><|SAD|><|Speech|> 如何接受。<|zh|><|SAD|><|Speech|> 全球化新高地。<|en|><|EMO_UNKNOWN|><|Speech|> Wor.<|zh|><|NEUTRAL|><|Speech|> 我第款新是游戏品牌。<|en|><|EMO_UNKNOWN|><|Speech|> So you shipping touch.<|zh|><|NEUTRAL|><|Speech|> 姐妈妈说就是一个生面加戏区的这样一个模式。<|zh|><|SAD|><|BGM|> 而这么多年，我们心里长个样的初中呢可发现在阿里。<|zh|><|SAD|><|Speech|> 嗯非常。<|zh|><|EMO_UNKNOWN|><|Speech|> こ to上 from一 job。<|en|><|EMO_UNKNOWN|><|Speech|> This Alibaba.<|ja|><|EMO_UNKNOWN|><|Speech|> ふん.<|zh|><|EMO_UNKNOWN|><|Speech|> 回金。<|zh|><|NEUTRAL|><|Speech|> 加上我们跟失走。<|zh|><|NEUTRAL|><|Speech|> 没有。<|zh|><|SAD|><|Speech|> 其实的确的话，你知道我们会让公司来说，一个不能够问当地的人口。<|zh|><|SAD|><|Speech|> 我想门看门。<|ja|><|EMO_UNKNOWN|><|Speech|> すご.<|zh|><|SAD|><|Speech|> 就失去了后。<|ja|><|EMO_UNKNOWN|><|Speech|> そうくするために時.<|en|><|EMO_UNKNOWN|><|Speech|> 空位.<|zh|><|SAD|><|Speech|> 这是我最大的。<|zh|><|EMO_UNKNOWN|><|Speech|> 是我。<|en|><|EMO_UNKNOWN|><|Speech|> Surely.<|en|><|EMO_UNKNOWN|><|Speech|> .<|zh|><|SAD|><|Speech|> 没有，我有点事。<|zh|><|SAD|><|Speech|> 下一个最关键的。<|zh|><|SAD|><|Speech|> 你们是怎么来控。<|yue|><|EMO_UNKNOWN|><|Speech|> 嗯.<|zh|><|EMO_UNKNOWN|><|Speech|> 挑战。<|zh|><|NEUTRAL|><|Speech|> 诶。<|en|><|EMO_UNKNOWN|><|Speech|> .<|zh|><|NEUTRAL|><|BGM|> 碰一些问题可以。<|en|><|EMO_UNKNOWN|><|Speech|> For your for.<|yue|><|EMO_UNKNOWN|><|Speech|> 唔然系宝咗.<|zh|><|EMO_UNKNOWN|><|Speech|> 吃什好啊。<|zh|><|NEUTRAL|><|Speech|> 这里还是日观的所思。<|en|><|EMO_UNKNOWN|><|Speech|> Yeah.<|zh|><|NEUTRAL|><|Speech|> 北天在这里的村物。<|en|><|EMO_UNKNOWN|><|BGM|> Yeah.<|en|><|EMO_UNKNOWN|><|Speech|> You.<|en|><|EMO_UNKNOWN|><|Speech|> Confer.<|zh|><|SAD|><|Speech|> 时间能力有多久。<|zh|><|NEUTRAL|><|Speech|> 你一种没去的时记得吃走的时候。<|zh|><|SAD|><|Speech|> 我真的还是一场失碎的工主。<|ja|><|NEUTRAL|><|Speech|> うん.<|ja|><|EMO_UNKNOWN|><|Speech|> すの.<|ja|><|EMO_UNKNOWN|><|Speech|> とふ.<|en|><|EMO_UNKNOWN|><|Speech|> 我ま.<|en|><|EMO_UNKNOWN|><|Speech|> The.<|en|><|EMO_UNKNOWN|><|Speech|> F.<|en|><|EMO_UNKNOWN|><|Speech|> To know soul.<|zh|><|EMO_UNKNOWN|><|Speech|> 怎没有没个 question about这个证人。<|zh|><|NEUTRAL|><|Speech|> 一方面，我们担心告从现代开始。<|zh|><|EMO_UNKNOWN|><|Speech|> 这数。<|zh|><|NEUTRAL|><|BGM|> 一律出贤。<|en|><|EMO_UNKNOWN|><|Speech|> Be someone.<|zh|><|SAD|><|Speech|> 难道这海外没有平时开。<|zh|><|NEUTRAL|><|Speech|> 斑马。<|en|><|EMO_UNKNOWN|><|Speech|> We don.<|zh|><|NEUTRAL|><|Speech|> A吹日0。<|zh|><|NEUTRAL|><|Speech|> 因我记得那个服务帽我们在海外如何去建立这种IBC的comp炮技术。<|zh|><|NEUTRAL|><|Speech|> 新世界是。<|zh|><|NEUTRAL|><|Speech|> 你时的电。<|zh|><|NEUTRAL|><|Speech|> 那都是你全新的挑战。

#2. 用cpp websocket客户端测试
./websocket/build/bin/funasr-wss-client --server-ip 127.0.0.1 --port 10095 --wav-path asr_speaker_demo.wav
#测试结果
{"is_final":false,"mode":"offline","text":"<|zh|><|HAPPY|><|Speech|> 非常高兴哈能够和几位的话呢一起来讨论互联网企业如何决胜全球化新高地这个话题。然后第2块其实是游戏平台。所谓游戏平台，它主要是呃简单来说就是一个商店加社区的这样一个模式。<|zh|><|NEUTRAL|><|Speech|> 而这么多年，我们随着整个业务的拓张呢，会发现跟阿里云有非常紧密的联系。因为刚开始伟光在介绍的时候也讲阿里云也是阿里巴巴的云。所以这个过程中一会儿也可以稍微展开跟大家讲一下，我们跟云云是怎么一路。<|zh|><|NEUTRAL|><|Speech|> 走来的。其实的确的话呢，就对我们互联网公司来说，如果不能够问当地的人口的话，我想我们可能这个整个的就失去了后边所有的这个动力，不知道你们各位怎么看，就是我们最大的这个问题是不是效率优先。yes or no。<|zh|><|NEUTRAL|><|Speech|> 然后如果是。<|zh|><|NEUTRAL|><|Speech|> 讲一个最关键的，你们是怎么来克服这些挑战的。<|zh|><|NEUTRAL|><|Speech|> 因因为其实我们最近一直在做海外业务，嗯，就是所以说这呃我们碰到一些问题可以一起分享出来给大家，其实一起探讨一下。嗯呃，其实海外呃就是我们还是这个观点说是。<|zh|><|NEUTRAL|><|Speech|> 呃，无论你准备工作做的有多充分，嗯，无论你有就是呃学习能力有多强。你一个中国企业的负责人，其实在出海的时候，他整体还是一个强势做的过程。<|zh|><|NEUTRAL|><|Speech|> 后来退到德国，或者拖到新加坡、印尼、越南等等这些地方。那每一个地方走过去都面临的一个问题是建站的效率，怎么样能够快速的把这个站点能建起来。一方面，我们当初刚好从14年刚好开始要出去的时候呢，就国内就是三个北上广深。<|zh|><|NEUTRAL|><|Speech|> 那当这海外呢要同时开服北美、美东、美西、么欧洲、日本。那我还记得那个时候，那我们在海外如何去建立这种IDC的count探建设、基础测试建设、云服务的部署，那都是一个全新的挑战。","wav_name":"wav_default_id"}

结果2是正确的 希望：

1. 修复funasr_wss_client.py的问题
2. 或者至少完善文档，默认使用cpp 客户端。