quke
quke
前面没对batch中的句子做补零,在取到batch之后,用batch中的第一个句子的长度作为最大长度 对batch内的剩余句子进行补零,所以排序是有用的
是不是网络有点问题啊,是第一次运行吧,正常应该是去下ernie-1.0的权重了,是不是卡在这了
不好意思,因为lstm和bert系列模型还是稍微有点区别,融进一起写有点麻烦,暂时没有加lstm的打算, 可以看看其他人的实现 @OneFly0316
不好意思,是我代码改的有点问题,导包错误,回头我会重新提交下 可以先把这个直接写到代码里,注释掉导入 ``` def load_json(file_name, value_is_array=False): with open(file_name, 'r', encoding='utf-8') as f: dict_ = json.load(f) return dict_ def save_json(file_name, dict_): with open(file_name, 'w', encoding='utf-8') as f: json.dump(dict_, f, ensure_ascii=False) ```
显存溢出了,可以调下batch_size试试
@zl0717 我这边注释掉印象中是因为之前加载报了个错,,后来就没用这个,要想完全相同的恢复继续训练的状态应该是需要保存这个的,然后再载入下,因为当时用继续训练不太多,就没管这个
我自己clone了一下,在我的环境上没问题, 应该是环境问题,我这里的环境是python==3.8.8 pandas ==1.3.4 transformers ==4.17.0 torch==1.10.0 要是还不行的话,可以放一下环境、截图再看一下
config.py里面设置了可以使用的模型 在config.py 字典里面增加一个键值, 例如 `'bert_en': ( 'transformers.BertTokenizer', 'transformers.BertForSequenceClassification', 'transformers.BertConfig', 'bert-base-uncased', # 使用模型参数 )` 然后再train.py --model bert_en 这样增加模型
似乎是某些网络参数不太匹配
> 是数据title的问题吗 默认使用的数据集有点小问题,数据集没有上传,修改了一下,现在应该可以跑通