Llama-Chinese icon indicating copy to clipboard operation
Llama-Chinese copied to clipboard

Published 20 hours ago • verified publisher icon LlamaFamily

请问模型支持stream流式输出吗？

Open Junglesl opened this issue 1 year ago • 6 comments

请问Llama2-Chinese-13b-Chat支持流式输出吗？或者应该怎么修改能让模型支持流式输出呢

Junglesl avatar Aug 16 '23 08:08 Junglesl

请问Llama2-Chinese-13b-Chat支持流式输出吗？或者应该怎么修改能让模型支持流式输出呢

IteratorTextStreamer

rufeng-h avatar Aug 17 '23 00:08 rufeng-h

请问Llama2-Chinese-13b-Chat支持流式输出吗？或者应该怎么修改能让模型支持流式输出呢

IteratorTextStreamer

请问能够贴一个代码链接吗？我在github上没有找到IteratorTextStreamer的用法，非常感谢！

Junglesl avatar Aug 17 '23 01:08 Junglesl

example 里面的gradio 内支持流式输出，可以参考一下代码

ZHangZHengEric avatar Aug 17 '23 02:08 ZHangZHengEric

example 里面的gradio 内支持流式输出，可以参考一下代码

非常感谢！

Junglesl avatar Aug 17 '23 11:08 Junglesl

fastapi也行嗎?

樓上打錯了是

~~IteratorTextStreamer~~ TextIteratorStreamer

yousenwang avatar Sep 01 '23 08:09 yousenwang

gradio

gradio 是什么意思？你指的example_chat_completion.py吗？

AWangji avatar Apr 28 '24 03:04 AWangji