DoctorMonkey

Results 6 comments of DoctorMonkey

> 老哥,我用你的代码,加载模型时不报错,提问题时报这个错 Traceback (most recent call last): File "C:\Users\stone\Desktop\MOSS\env\lib\site-packages\gradio\routes.py", line 401, in run_predict output = await app.get_blocks().process_api( File "C:\Users\stone\Desktop\MOSS\env\lib\site-packages\gradio\blocks.py", line 1302, in process_api result = await self.call_function( File "C:\Users\stone\Desktop\MOSS\env\lib\site-packages\gradio\blocks.py", line...

人才啊。 GPU不够的地方用CPU来补充吗?

我使用load in 8 bit, 成功加载模型。运行速度也很快。比你这个方法的速度要快。基本上秒出。 我是3090, 24G , 单卡单机。

> > > > > 我使用load in 8 bit, 成功加载模型。运行速度也很快。比你这个方法的速度要快。基本上秒出。 我是3090, 24G , 单卡单机。 > > 请问如何修改代码? https://github.com/OpenLMLab/MOSS/issues/38

cerebras发布了很多GPT基座,1.3B,2.7B,6.7B,13B。你们能用这些模型试试中文LoRA训练效果吗?期待。