qwen.cpp
qwen.cpp copied to clipboard
QwenLM
💡 [REQUEST] - CPU 的 qwen-cpp 如何封装为一个 http 服务？
起始日期 | Start Date
No response
实现PR | Implementation PR
CPU 的 qwen-cpp 如何封装为一个 http 服务？
相关Issues | Reference Issues
无
摘要 | Summary
无
基本示例 | Basic Example
无
缺陷 | Drawbacks
无
未解决问题 | Unresolved questions
No response
如果是要HTTP的API服务的话，qwen-cpp有python binding，openai_api.py的model更换下也许可以。 如果是要HTTP的Web服务的话，web_demo.py应该也是要替换模型创建的部分。
对C实现的模型有需求，建议关注llama.cpp，现在也支持Qwen了，那个的生态也更丰富些。
@sheiy 本repo中的openai_pai.py支持不了并发哈。如果有并发的需要，建议使用FastChat+vLLM，也可以提供OpenAI API类似的接口。