fastllm
fastllm copied to clipboard
Published
20 hours ago •
ztxz16
ztxz16
prompt 比较长时消耗显存很大
问题描述
在使用 4bit 的 flm 模型后, 模型占用单卡显存 4G, 在输入 prompt 约 2000 字的情况下, 计算过程中总显存会逐渐增到 16G 以上
原 chatglm 在这种情况增加 2G 左右
不知道为什么中间积累的显存会有这么大区别
测试样本
已知某案件的相关情况:\n```邹小红向本院提出诉讼请求:1判两被原告归还借款民672.6及用利息(以64717数银行间同拆借中心公布报价从202月际付之，计25日402元.判令本案诉。\n实原间亲系，2202庭营转以及款过等各种要资向原借原续向被告借达50上承诺支付相息，前也过如期数还本告的而自20月之为，开拖延款确双的债权22月9，双方核算后且在告作出概性务的下，告一与告等共同署一份一尚拖欠借款4.60128.3元了逃两被告虽然依保持共同生但早2底下于原告被告二始矢口，还原出实主要告同所的房屋装修营、挥霍等使原告出借款被告系并被之的济于法对担款任两告向借，但却无正当拒欠款一贷款及银信资，原间民借贷为认定为。原在《欠认书》（告的证据07）其出借给来金信用贷《借款详《款金额确书》《提》足明，告国对经济贸易限司即融机构）8于221年17，借为6而原供的聊，21月1前借人1年起便始原告支付借款，月笔8万贷款款实际人告22认人无了80万的额告高转贷答，从银此信用在日往各消费费场所与消额并不明是通过不同的或码套现完成，信卡8月、02均为答辩黄小。《国法民商事工作议纪要精神，民间借贷出人最高人民法院关于理一民间：（一公良俗因此，告是贷，转贷给，与辩人借款行无。二根辩从、上往来，原0元款8392.8上述民，故答此前有支付还。根据《欠款确书载，除了原即本案第三人）的借也都用卡现的第三资借是无效，不利。其人于主借款金额来源合法有怀，答辩请求法原的借款金均，但款书，息或民支付有定息约定不明，然人间，没张贷款出答人，答辩际收79先案外郑前向答支放款当天将贷借告收砍”，付天收到00元，按8金欠确记欠款金，之间的发生来账计算辩人根20来信付宝途径交易往来计答付26元被向答辩人偿还58包括告支告账户，即4308+40（4039400-4元告与第黄风关，是确人告黄小有黄风风还款三人提的小小查询支付宝记录，大筛选与有关的款被告收17003并陆续也三人账户还款05有021应可以的元381。四答辩所借资金其用于同，同答人婚间偶义案外人池小华许灰贷向原告款池华等答从处款后转而便支付小许林红红、前前人；与之间的所有往来告手款没共同生活与陈多。全由陈而告为弟妹、装房屋等等的由答人告今未辩人庭瞻顾后，劳心劳告倒打耙，事以望辩人担的辩寒。综上原贷款转给辩人为认定与资金额亦借款发生的流记录进行核算，核，累计5294此外，以个人告借款未用于夫妻共属陈多多称:对被给与了充不查看被机对告一此信告年信恶意布局诈陷阱不知。被因贷深陷务危的毫知直至2021年被告一务河等方答辩人方才知。两被高利诈骗并导陷债务极1在院术。至辩人为住院其，答人对在姻关期间欺骗隐为忍无离，二人2办理了离手续被继续辩隐欠，辩被告离婚年月16原风约被告生麦当劳把《欠确书》出示给告至此二晓被与告二的高利贷关系述一庭装修理由向船不幸遇辩人获得了相另外人生完养实际上已有余年被对寿经营及户情无所能参的经谓之间济往来被告被告均转资账况未过告一资用于家庭装属，被告资装苑房该拥有，产权不季不仅程参告位山旁房子装修装修费用且告向告所借款大大超了事常出，是向借家庭经属实三、答辩人与黄2日黄借用单的资，与原告风均从未经一款为被告风的3己用位金，需因风对感上对瞒其家装理由向原告借款均属实，所家庭辩人无。间人名义庭日常所负债务，夫共同债务告未提证予以证举证不能利后果。请贵，驳回绕诉请证据院组人证据进证.邹小红提已知记信原证据1中易细2账易明支付转子凭证款设银录提结安银行账证明1间告被告一之间往付案代证据1国交易转账电凭证对真及证明对议原银水细不性向原告支付00210原告付0元年1月2500元0元2年120000累0告的体原行流细不子凭性明对有原告流水性存小202日元2020年3月21向50213月告支6告支607原支付70元2年8月0向原告付66元210累8提转记录中现黄垫赁房屋的押支付宝真实性证明异原告提的客户从式上看的表格总提水核对实际从流看明被款金额的事证对性异详情证明原主张万借融机构贷贷款三性及证明天记证明原并有牟录对的真法确是账给郑前该笔贷告实仅收60款金额认书实有原告个款告小小偿还被告将款项支付原从还本息告担对于后告否还告无法确象异供的设行交易记原被之存在款系提对真实证对有异结清凭证真实待院查证同证告被额6平对消费录中费跨区所日消费金额均达是告正的金该均是被黄小小在还请精要简提取需去除信供7欠款确022年一一尚1647176代对及证对象异认欠书字小小本签字但欠错误的账确当时被黄间的家矛盾1月日杀被小小当时处于溃的继续小还钱黄小被书出借源包括贷8用3万黄小的水记录黄小小每月向告付元利息仅针对张小小实际收4间相构借出给他人签的被的借款与关联性均可原告其配黄风风与被告放行为高告终三的为始隐瞒着被二直一深债2月16日原与约被告学当劳所的款二告才知妻的何欠款认书不敢名原告及威逼诱下内容所涉及项知晓要取当事人供的所证需如审录代提供证据企账信资元装修盖山经营寿借款告之在往来即款使用的实前夫风风还万元借款的事综讼争债务夫共同债务被告涉债担债义务请要要事人提供的所注号已知有如下庭信息原代提查两被系本案格1异被告二被要简提供证文注去除序实与联性异议，简要描述本案情况
测试环境
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2021 NVIDIA Corporation
Built on Mon_May__3_19:15:13_PDT_2021
Cuda compilation tools, release 11.3, V11.3.109
Build cuda_11.3.r11.3/compiler.29920130_0
glm2 fp16 int8 的flm模型同样有这个问题，原版可以到10000token，现在4000token就爆显存了
现在会可以长一点，之后还会持续改进的