my_openai_api icon indicating copy to clipboard operation
my_openai_api copied to clipboard

Published 20 hours ago • verified publisher icon billvsme

这个可以用在模型 Baichuan-13B-Chat 的调用流式api吗

Open xuyaokun opened this issue 2 years ago • 3 comments

如题

xuyaokun avatar Sep 27 '23 08:09 xuyaokun

Baichuan2 没有问题，Baichuan1没有测试，你可以试试看

注意需要把这行改成Baichuan-13B-Chat https://github.com/billvsme/my_openai_api/blob/main/my_openai_api.py#L85

billvsme avatar Sep 27 '23 08:09 billvsme

好的3q

xuyaokun avatar Sep 28 '23 08:09 xuyaokun

试过用4张T4显卡，每张16G现存，结果4张都几乎占满，没法用。模型的原因吗？

Eastnova avatar Nov 21 '23 08:11 Eastnova