MiniCPM-V 请问MiniCPM-V能使用类似stream为True的参数来实现流式生成吗？

请问MiniCPM-V能使用类似stream为True的参数来实现流式生成吗？

Open huu3301 opened this issue 1 year ago • 1 comments

请问MiniCPM-V如何使用流式的方式生成？像是使用transformers的streamer之类的。

另外，好像model.chat输入temperature或top_p是不生效的，看代码是已经写死了。

Mar 22 '24 07:03 huu3301

感谢关注，我们近期会支持流式输出

Apr 12 '24 10:04 iceflame89

Add this to future plan

May 23 '24 10:05 Cuiunbo

感谢关注，我们近期会支持流式输出

现在可以了吗

Jul 03 '24 09:07 chuangzhidan