NeZha_Chinese_PyTorch

NeZha_Chinese_PyTorch copied to clipboard

Descartes-Stan

I am woudering if is possible that adding nezha chinese model into huggingface transformers repo, for both code and paramaters. nazhe is widely used in chinese nlp community, and would...

zheyuye

占用了大量CPU资源和时间，建议init初始化后就直接to device

huangyc0618

想问一下，可以直接使用transformer里的bert模型，直接来加载nezha权重可以吗

3

顺便想问一下，和huawei官方的nezha这个有什么区别呢

xuanzebi

能麻烦提供一个从头预训练的代码或者脚本吗

1

flyerjia

长文本

4

设置max_position_embedding >512 后，还是无法输入超过512的长度，请问怎么该怎么用这个处理长文本

Daemon-ser

作者您好，非常感谢你将tf版本的权重转换成了pytorch版本。不知道能否上传到huggingface呢？ 因为一些客观因素没办法登录网盘。。

Faith-Uchiha