mnn-llm icon indicating copy to clipboard operation
mnn-llm copied to clipboard

Published 20 hours ago • verified publisher icon wangzhaode

服务

Open Vincent131499 opened this issue 11 months ago • 6 comments

目前看是本地运行的方式，请问目前是否可以部署成openai的服务吗，使用curl等命令来请求。 感谢回复！

Vincent131499 avatar Mar 22 '24 09:03 Vincent131499

你的意思是部署在服务端，然后通过请求调用吗

wangzhaode avatar Mar 22 '24 09:03 wangzhaode

@wangzhaode 大佬 目前我这有这个需求，有什么好的方式部署在服务端吗 感谢

lzyqweasdzxc avatar Mar 27 '24 03:03 lzyqweasdzxc

你的意思是部署在服务端，然后通过请求调用吗

是的，希望可以支撑下多并发

Vincent131499 avatar Apr 02 '24 14:04 Vincent131499

这个有规划吗，看llama.cpp提供了一个server，可以支持动态batch，不知道mnn-llm后续有规划吗？ 耐心等待回复！

Vincent131499 avatar Apr 12 '24 05:04 Vincent131499

@wangzhaode 同上！期待提供server的功能，感谢你们这非常棒的工作。

hyperbolic-c avatar Apr 22 '24 01:04 hyperbolic-c

@wangzhaode 同上！期待提供server的功能，感谢你们这非常棒的工作。

hyperbolic-c avatar Apr 22 '24 01:04 hyperbolic-c

Marking as stale. No activity in 30 days.

github-actions[bot] avatar May 22 '24 09:05 github-actions[bot]