Chen yifei

icon indicating a website link https://www.jgxy.xmu.edu.cn/

icon company Jiageng College of Xiamen University icon location china icon location Jiageng College of Xiamen University/major in Information Management and Information Systems

Results 10 comments of Chen yifei

支持并发吗

同问怎么支持多人调用api，模型不串的问题，感谢🙏

FastApi多模型，多情绪，3090显卡，推理压测并发量超过10个请求，推理程序就会因为使用率100%卡死

想问下大佬怎么修改代码可以支持多模型多情绪，感谢🙏

FastApi多模型，多情绪，3090显卡，推理压测并发量超过10个请求，推理程序就会因为使用率100%卡死

> 多模型的话得随时切换，比如现在是角色A那就切换到角色A的模型，角色B就切换到B的模型，多情绪这一块得为每个角色喜怒哀乐都准备一段参考音频了 我可能没表达清楚意思，我的意思是多人调用api的时候，可以互相不干扰，该怎么修改代码

FastApi多模型，多情绪，3090显卡，推理压测并发量超过10个请求，推理程序就会因为使用率100%卡死

大佬方便分享下代码么🙏

知识库问答Prompt指令不生效

问下楼主用ollama之后，现在大模型还有幻想和根据文档编造内容的现象吗

知识库问答Prompt指令不生效

就还是没有langchain chatchat直接加载模型回答的好吗？那现在有没有什么好的办法解决这个问题的？🙏

[BUG] 简洁阐述[BUG] 当使用LLaMA-Factory 使用.bin格式训练合并之后的模型，然后使用langchain-chatchat，加载训练的模型出现TypeError: PeftConfig.__init__() got an unexpected keyword argument '_name_or_path'问题 / Concise description of the issue

不能直接把config.json文件名字改成adapter_config.json

评测脚本问题

mark，需要一个可以测试微调过的Qwen1.5的推理速度的脚本，

web端是用不了了吗，上传不上去文档

> ![image](https://private-user-images.githubusercontent.com/7872421/336667292-9d3df84b-7d4f-4d9a-93e8-c0e81495fe78.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MTc1NTU3NjAsIm5iZiI6MTcxNzU1NTQ2MCwicGF0aCI6Ii83ODcyNDIxLzMzNjY2NzI5Mi05ZDNkZjg0Yi03ZDRmLTRkOWEtOTNlOC1jMGU4MTQ5NWZlNzgucG5nP1gtQW16LUFsZ29yaXRobT1BV1M0LUhNQUMtU0hBMjU2JlgtQW16LUNyZWRlbnRpYWw9QUtJQVZDT0RZTFNBNTNQUUs0WkElMkYyMDI0MDYwNSUyRnVzLWVhc3QtMSUyRnMzJTJGYXdzNF9yZXF1ZXN0JlgtQW16LURhdGU9MjAyNDA2MDVUMDI0NDIwWiZYLUFtei1FeHBpcmVzPTMwMCZYLUFtei1TaWduYXR1cmU9OGVhMDI2MzdmM2E5YzM3MjA4NTBmYTRmMDFmN2ZiMzM3YjhlOTI4ZjUzOGI2MmUzOTc4ZmNmYjhlMjcyMDNjNSZYLUFtei1TaWduZWRIZWFkZXJzPWhvc3QmYWN0b3JfaWQ9MCZrZXlfaWQ9MCZyZXBvX2lkPTAifQ._5A4Yb55GuojK6QQp8RJ7vVMNwYyeFD4JKZER7HB598) > > 你刷新一下，现在应该可了。 好的，谢谢

[Feature]: add DoRA support

I also need vllm to support dora !!!