652994331
652994331
....... could you please show me the result? for my result, the ORG is around 89% , LOC and PER are around 93%. The problem is I cant make the...
tiny Albert 发自我的iPhone ------------------ 原始邮件 ------------------ 发件人: brightmart
@hamanfang 我想问问 我在使用这个脚本的时候 说没有node name 是 cls/prediction/... 看起来您没有这个问题，请问您检查过graph.pbtxt 了吗 里面有这个叫 cls/predictions/...的node 吗
是中文数据集的， tokenization modeling optimization_finetuning 用的都是albert 这个github中提供的，算是albert 的把
yes, you can, to do this , you need to modify the run_classifier.py and optimization.py.
we use mirrored distribute strategy to use multi gpu to do the pretrtain using our own data. 2 gpus could make the speed x2. you also can deploy horovod, a...
@multiverse-tf 我这里用的是albert_tiny_489k 目录下的ckpt 计划未来使用 自己的预训练模型 我理解您的意思是要去modeling.py 中ouptut_node_name 请问对吗
同样有这个问题， 在做下游任务的时候， 同样的参数下，finetune large 模型， 效果和base 差不多，基本没有提高，这有可能是学习率的问题造成的， 是不是在使用large 的预训练模型做下游finetune 的时候， 应该吧学习率调低一点？
我试过几种机构 albert-large + crf / albert_large + bilstm + crf 在ＭＳＲＡ数据集上效果最高 org 89% loc PER 都是９３％ 无法突破这个水平。没试过直接albert 记得有github项目做过 说结果一般
@ShallTearchen 一个定值 我设置的5e-5