about flow acc

[LLLLLLoki]

我在蚂蚁金融数据集上进行了测试，一个中文的句子对相似任务[0，1] 分类，进行了如下实验： 1.bash scripts/train_siamese.sh train
"--exp_name=exp_${BERT_NAME}_${RANDOM_SEED}
--num_train_epochs=1.0
--learning_rate=2e-5
--train_batch_size=16
--cached_dir=${CACHED_DIR}" 在eval 中的acc 为85左右

2.bash scripts/train_siamese.sh train
"--exp_name_prefix=exp
--cached_dir=${CACHED_DIR}
--flow=1 --flow_loss=1
--num_examples=0
--num_train_epochs=3.0
--flow_learning_rate=1e-3
--train_batch_size=16" 没有使用avg-last-2,而是avg, initial_ckpt 是1中的输出 在eval 中的acc 稳定在50左右 为什么使用了flow acc结果却下降了

[qiuwenbogdut]

@LLLLLLoki 你用的是中文预训练模型吗？

[LLLLLLoki]

@LLLLLLoki 你用的是中文预训练模型吗？

是的啊12层中文bert ckpt

[JaheimLee]

是不是因为bert-flow的分布发生变化的原因？我在https://github.com/bohanli/BERT-flow/issues/10 提了一个问题，看看跟你有没有相关性

[wwwjs]

acc稳定在50%的二分类，如果数据集合类别平衡，岂不是和瞎猜准确率一样？

[ljwmusclenlper]

我也用了bert-flow训练,根本没效果