unilm
unilm copied to clipboard
Published
20 hours ago •
kyang888
kyang888
chinese pretrain unilm
中文unilm 预训练模型
- unilm/data/pretrain 存放预训练数据的目录，一行一篇文档
- unilm/bert-chinese-base 存放中文bert base,用于unilm模型参数的初始化
- unilm/output/model 保存预训练模型。同时由于使用GPU预训练时间长，也可从该目录恢复模型
- unilm/run.sh 是预训练脚本
torch=1.4
kyang888