Snowdar

Hi，这种用于应用的程序流是没有现成的。如果你需要，可以将前处理，模型提取以及后端打分等各个处理模块抽取出来合在一起写成一个流程。该流程可直接用kaldi的源命令而不用局限实验时用的批处理脚本。 Sent from my iPhone > On Sep 9, 2020, at 9:21 AM, SunxrCarryQAQ wrote: > >  > 您好，请问一下您的baseline里面包含可以直接输入音频单个音频输出识别结果的脚本吗？如果有的话可以告知一下是哪个嘛？如果没有的话希望您能提供一下大致的流程和思路，非常感谢！ > > Xuran > > — > You are receiving...

请查看readme有提供少量数据vox1的的特征（百度盘下载） > 在 2021年8月10日，下午12:56，haojiepan ***@***.***> 写道： > >  > 从网上下载数据量过大，复现流程过久，我是做NLP的，最近在弄声纹识别，作为一个新手来说，复现流程不是很友好，有一点费劲，如果能提供一份少量voxceleb数据，能够快速复现整体流程，而不需要去一直等数据下载下来才能复现流程。 > > — > You are receiving this because you are subscribed to this thread. > Reply to this...

If you just want to run two small model without any tensor parallel or pipeline parallel, try this to ignore the initialization of distributed group: ``` diff --git a/vllm/model_executor/parallel_utils/parallel_state.py b/vllm/model_executor/parallel_utils/parallel_state.py...

You could change the `vllm/worker/worker.py` like this (see #@ note): ``` def load_model(self): free_gpu_memory, total_gpu_memory = torch.cuda.mem_get_info() #@ add self.gpu_mem_pre_occupied = total_gpu_memory - free_gpu_memory #@ add self.model_runner.load_model() @torch.inference_mode() def profile_num_available_blocks(...

克隆后请将 asv-subtools 改为 subtools, 且保持subtools工具库在你的当前工作目录下

你好， 请先确实pytorch版本，建议暂时不要使用1.10以上，推荐版本，1.7 > 在 2021年11月16日，下午2:18，songfuture ***@***.***> 写道： > >  > 首先感谢xmuspeech的subtools工具~ > 请问一下，当使用命令 subtools/runPytorchLauncher.sh run-resnet34-fbank-81-benchmark.py --gpu-id=0,1 --stage=3 --endstage=3 ，也就是 python3 -m torch.distributed.launch --nproc_per_node=2 run-resnet34-fbank-81-benchmark.py --gpu-id=0,1 --port 2345 --stage=3 --endstage=3...

你好， torch支持多机多卡，但是我们这个工具暂时没做这方面的开发。多机情况需要额外做多机的数据布置以及修改通信组，可以在torch官网看看相关例子。 祝好！ > 在 2021年11月18日，下午4:38，songfuture ***@***.***> 写道： > >  > 您好，请问一下，subtools/pytorch/libs/support/utils.py是只能实现单机多卡吗？多机多卡需要自己改初始化之类的么？ > > — > You are receiving this because you commented. > Reply to this email directly,...

官方应该已经更新兼容了新版本transformers在 2024年9月5日，21:56，young_chao ***@***.***> 写道： 请问你的问题解决了吗？我这边升级到transformers==4.44.2可以训练llama3.1，但是没办法再训练qwen2了，之前transformers==4.41.2是正常训练qwen2的。 —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you authored the thread.Message ID: ***@***.***>

Fix this problem by appending `n_prev_tokens[index] = n_prev_token` to the next line of `is_firsts[index] = is_first` in anywhere (3 positions) ``` # sglang/python/sglang/srt/openai_api/adapter.py ... is_firsts[index] = is_first n_prev_tokens[index] = n_prev_token...

> Did you by any chance set top_p in the request? [@Snowdar](https://github.com/Snowdar) yes, set to 1 or any other value (