6层albert模型的发布问题

[KunWangR]

目前发布的albert_tiny模型仅有4层，虽然模型体量小，但模型效果与其他模型还是有差距。albert_base有12层，但模型整体规模比较大，预测效率还是与bert_base、roberta_base预测效率相近。所以希望作者可以发布6层的albert模型，以适应更多的任务需求。谢谢。

[brightmart]

如果有其他5到10个人也用同样问题，可以列入工作计划。

[algoflow19]

希望能有6层模型，谢谢大哥！

[nwboss]

同求！感谢

[Joyce-Ng]

同求，希望作者发布大点的albert模型，遇到一样的问题惹

[brightmart]

了解，还有其他同学也有类似的问题吗？

[semal]

同求..

[brightmart]

已经发布了，你们试一试。LCQMC数据集上，测试集比brert_base下降0.9个点；pytorch版本，测试了只下降了0.1个点。 见 albert_small_google_zh这个模型。 @KunWangR @semal @NongW @develpoerkk

[KunWangR]

发现新发布的small版本的config文件有些问题，与发布的模型参数不一致，在调用的时候出错，希望作者查看一下。ValueError: Shape of variable bert/embeddings/LayerNorm/beta:0 ((384,)) doesn't match with shape of tensor bert/embeddings/LayerNorm/beta ([128]) from checkpoint reader

[brightmart]

调用small,需要用到google的代码具体你看看这个：

[brightmart]

直接 pip install sentencepiece

[nlp4whp]

发现新发布的small版本的config文件有些问题，与发布的模型参数不一致，在调用的时候出错，希望作者查看一下。ValueError: Shape of variable bert/embeddings/LayerNorm/beta:0 ((384,)) doesn't match with shape of tensor bert/embeddings/LayerNorm/beta ([128]) from checkpoint reader

是的我也遇到这个问题，zip里albert_config_small_google.json并不是合适的参数文件，请问您解决了么 @KunWangR

[brightmart]

不是的啊。你参考一下「下游任务」的例子

[nlp4whp]

不是的啊。你参考一下「下游任务」的例子

抱歉是我用错了modeling.py，感谢回复