LLM-Tuning icon indicating copy to clipboard operation
LLM-Tuning copied to clipboard

Published 20 hours ago • verified publisher icon beyondguo

请教大佬一个问题，关于输入长度

Open starphantom666 opened this issue 2 years ago • 1 comments

我这里有个总结文章内容，得出结论的需求，但是在微调这总是会因为文章内容太长OOM，我现在的文章稳定在2w字左右，其实这个长度推理是没问题的，但是做微调就立马爆

starphantom666 avatar Jun 28 '23 01:06 starphantom666

训练比推理消耗的显存肯定更大很多，只能试试降低batch，或者开启量化之类的操作了。

beyondguo avatar Jun 28 '23 04:06 beyondguo