zoe

2w条训练数据长度为256的文本，4ktest和dev过拟合正常吗？

1

 

【预训练模型的微调和再训练的区别是什么？】想请教paddle开发前辈们和各位网友

6

最近在实习期间，前辈说再训练是拿着自己的数据在开源的预训练模型上继续训练，可是我搜索网上资料微调才是这个意思，貌似。 请教各位用自己的数据在别人训练好的预训练模型上train究竟是”再训练“还是”微调“？

Batchsize=1显存不足

3

- 版本、环境信息 1）PaddleNLP 2.3，PaddlePaddle2.3 2）系统环境：Linux，python3.7 3）batch_size=1,max_seq_lenth=512,train600条，test200条，dev200条 `# 模型训练： import paddle.nn.functional as F import time save_dir = "checkpoint/bert-wwm" if not os.path.exists(save_dir): os.makedirs(save_dir) save_train_result = "./results/bert-wwm.tsv" train_r_df = pd.DataFrame(data=None, columns=["global_step","epoch","step","loss","acc","time"]) pre_accu=0 accu=0...

按照API进行下游任务Fine-tuning时，这段代码分开执行没有问题，但在一个jupyter单元块中执行会报错。

4

`from functools import partial import numpy as np import paddle from paddlenlp.datasets import load_dataset from paddlenlp.transformers import AutoModelForSequenceClassification, AutoTokenizer model = AutoModelForSequenceClassification.from_pretrained("ernie-1.0-base-zh", num_classes=3) tokenizer = AutoTokenizer.from_pretrained("ernie-1.0-base-zh") def convert_example(example, tokenizer): encoded_inputs...

how to import my own datasets in TinyBERT_4L_zh?

1

if i want import my chinese data in TinyBert ,what should I do?

torch.distributed.elastic.multiprocessing.errors.ChildFailedError:

19

cuda 11.6 torch 1.13.1 torch cu 11.6 报错如下：  请问是否是版本过低的原因？

[BUG] 网站打不开 522

1

网站down了？