Cui Junbo comments

Results 71 comments of


                                            Cui Junbo

[BUG] <title> merge_and_unload完之后和原来模型参数完全一致，没有变化

try to use our new training code~

💡 [REQUEST] - Support SGLang 支持SGLang 推理引擎

Hello, thank you for following our work, we will consider trying to support it in the future!

vllm api sever只有图片推理的示例，能够支持视频推理嘛

http://modelbest.feishu.cn/wiki/C2BWw4ZP0iCDy7kkCPCcX2BHnOf

How to TTS Kokoro

1. Possible but new a lot of training~ 2. Try to read-> https://github.com/OpenBMB/MiniCPM-o?tab=readme-ov-file#general-speech-conversation-with-configurable-voices

[BUG] <title>官方的web_demo_2.6.py示例在使用过程中显存没有正常释放。

try to use our new model～

[ollama] - <title>怎么使用openai请求格式进行视频理解？

http://modelbest.feishu.cn/wiki/C2BWw4ZP0iCDy7kkCPCcX2BHnOf

💡 [REQUEST] - 支持Audio的微调方案

你好,很高兴你有微调的兴趣,audio到text的微调方案几乎和image到text的相差不大,修改成本比较小. 我们会在下周给出示例代码.

> > 你好,很高兴你有微调的兴趣,audio到text的微调方案几乎和image到text的相差不大,修改成本比较小. 我们会在下周给出示例代码. > > 我看到模型架构的audio encoder似乎与qwen是分离的，如果我的数据是有输入audio对应文本的，我是不是也可以直接去做text2text的sft 您好，这种方式可能会导致无法完成音频输入情况下的对齐，您可以尝试使用https://github.com/hiyouga/LLaMA-Factory/pull/6701来进行微调，已经支持 audio 2 text啦

What are the evaluation plans for each modality?

@lihytotoro evaluation for multiple pictures, videos and audio https://github.com/OpenBMB/UltraEval-Audio evaluation for audio