sun1092469590

> > > > > > > > > > ``` > > > > > > import os > > > import platform > > > import signal >...

同问，训练完后，用微调后的模型推理的时候特别慢

插件模型示例中，from utils import StopWordsCriteria，utils文件是哪里来的呢？

> 在项目里提供了 > > https://github.com/OpenLMLab/MOSS/blob/main/utils.py > > @sun1092469590 好的好的，谢谢哈，之前没注意这个

> > 我这边~/.cache/huggingface/modules/transformers_modules下没有local文件，是local是自己建吗？

> 这个要看数据和ptuning参数才能判断的。我这v100 40G，max_source_length 1024、max_target_length 512，其他参数不变的清空下，3万多数据需要12小时 问下哈，你3万数据微调效果怎么样？

> > > > > 就算你从头到尾所有参数全部微调，也会有遗忘，lora相比ptuning会好点，但是ptuning做特定任务效果会好点。 你ptuning时用了多少条数据效果或不错？

> 我的是微调完后只能回答喵喵了 你好，问一下哈，你的微调训练参数有自己调整吗？我的微调完推理时答复是空的，并且推理速度特别慢

> > ~/.cache/huggingface/modules/transformers_modules/local/ > > 我手动下载了模型并且手动创建了一个fnlp文件夹，直接把下载的模型放入fnlp文件夹，请问 ~/.cache/huggingface/modules/transformers_modules/local/ 这个路径在哪里？我没有找到.cache文件夹 在linux下直接cd ~/.cache/huggingface/modules/transformers_modules就行，但是我这边没有local文件

> +1 你的微调数据有多少？我这边是用了20万垂直数据和5万通用数据俩微调的，不知道是不是数据太少了