Baichuan2 对于长文本的输入，baichuan2-13b输出非常慢

对于长文本的输入，baichuan2-13b输出非常慢

Open ye7love7 opened this issue 1 year ago • 5 comments

已经使用xformers，3张T4显卡环境测试13b模型，短文本输入，输出还是非常快的，但是长文本输入，输出就非常慢，使用一张3090 24G进行13b模型的8bit量化进行测试，也是一样的情况，是否位置编码问题？急需长文本版。

Sep 14 '23 03:09 ye7love7

How long is your text?

Sep 20 '23 09:09 mmmans

Almost about 8000 Tokens,I think I try can save long text,Not wondering if it can handle them.

---原始邮件--- 发件人: @.> 发送时间: 2023年9月20日(周三) 下午5:53 收件人: @.>; 抄送: @.@.>; 主题: Re: [baichuan-inc/Baichuan2] 对于长文本的输入，baichuan2-13b输出非常慢 (Issue #108)

How long is your text?

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

Sep 20 '23 10:09 ye7love7

Oct 16 '23 09:10 ddingwang12

请问这个问题找到解决办法了嘛

Jan 19 '24 10:01 Tony1Q84

换长文本的，要么自己做rope

---原始邮件--- 发件人: @.> 发送时间: 2024年1月19日(周五) 晚上6:05 收件人: @.>; 抄送: @.@.>; 主题: Re: [baichuan-inc/Baichuan2] 对于长文本的输入，baichuan2-13b输出非常慢 (Issue #108)

请问这个问题找到解决办法了嘛

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

Jan 19 '24 12:01 ye7love7