GPT2-Chinese
GPT2-Chinese copied to clipboard
Morizeyao
分享一个 学习强国 的模型
~~为了让学习强国全自动化运营~~，使用学习强国网站中，《学习理论》栏目的文章作为训练材料（共计 6 922 篇文章，62 MB ），训练了 43 个 epoch 。
由于没有更好的 GPU，训练用的是日常使用的手提电脑。模型使用单卡 RTX 2070，65 小时训练了 43 个 epoch。参数位于 config.json
在这里下载（分卷压缩了）： https://github.com/lam-1s/GPT2-LearnStrongNation
生成效果如下：
习近平总书记指出:“我们要坚持以我为主、人民利益和根本,一切为了人民、一切依靠人民,牢牢把握群众观点和群众的思想,把人民放在心中最高位置。”唯有如此,才能真正领会坚持以人民为中心的发展思想、工作导向,让发展成果更多更公平惠及全体人民。(三)在发展中保障和改善民生、全面小康路上一个都不能少,这是坚持以人民为中心的重大政治问题,也是坚持以人民为中心的重大政治问题。毛泽东同志强调,“人民,只有人民,才是创造世界历史的动力”。邓小平同志指出:“中国的发展,过去40年,说一切都是少数人穷,一切都是少数人失败。只有坚持四项基本原则,坚持以经济建设为中心,一切为了人民、一切依靠人民,才能取得改革开放和社会主义现代化建设的伟大胜利。”习近平总书记在党的十九大报告中强调指出:“增进民生福祉是发展的根本目的。必须多谋民生之利,多解民生之忧,在发展中补齐民生短板、促进社会公平正义,在幼有所育、学有所教、劳有所得、病有所医、老有所养、住有所居、弱有所扶上不断取得新进展,深入开展教育普及,积极参与经济社会发展,坚决打赢脱贫攻坚战,保证全体人民在共建共享发展上不断取得新进展,不断加快实现共同富裕。”党的十八大以来,以习近平同志为核心的党中央坚持以人民为中心的发展思想,始终坚持“以人民为中心”的发展思想,积极保障和改善民生,让人民在发展中获得更多实惠,不断促进社会公平正义,人民生活普遍改善,在幼有所育、学有所教、劳有所得、病有所医、老有所养、住有所居、弱有所扶上不断取得新进展,深入推进中国特色社会主义大团结大发展,极大增强了全体人民群众的获得感幸福感安全感,不断增强了广大人民群众对党的信任和拥护,不断增进人民群众对幸福生活的向往。(四)中国特色社会主义是改革开放以来党的全部理论和实践的主题。中国特色社会主义是当代中国发展进步的根本方向,是把马克思主义基本原理同当代中国实际和时代特征相结合的产物,是我国传统文化的重大成果。它奠定了中华文化现代化的根基,同时又反作出了独特的贡献。鸦片战争以后,中国逐步沦为半殖民地半封建社会,中华民族处在积贫积弱、任人宰割的半殖民地半封建社会。
更多生成的样例请参见 samples.txt
另外也欢迎大家加入 Telegram 频道： https://t.me/fakeXiJinping
每隔一段时间自动推送最新习近平文章（bushi
您好，我直接导入你的pytorch_model.bin 显示权重缺失的错误，不知道您有这个问题？ Missing key(s) in state_dict: "transformer.h.0.attn.masked_bias", "transformer.h.1.attn.masked_bias", "transformer.h.2.attn.masked_bias", "transformer.h.3.attn.masked_bias", "transformer.h.4.attn.masked_bias", "transformer.h.5.attn.masked_bias", "transformer.h.6.attn.masked_bias", "transformer.h.7.attn.masked_bias", "transformer.h.8.attn.masked_bias", "transformer.h.9.attn.masked_bias", "transformer.h.10.attn.masked_bias", "transformer.h.11.attn.masked_bias".
您好，我直接导入你的pytorch_model.bin 显示权重缺失的错误，不知道您有这个问题？ Missing key(s) in state_dict: "transformer.h.0.attn.masked_bias", "transformer.h.1.attn.masked_bias", "transformer.h.2.attn.masked_bias", "transformer.h.3.attn.masked_bias", "transformer.h.4.attn.masked_bias", "transformer.h.5.attn.masked_bias", "transformer.h.6.attn.masked_bias", "transformer.h.7.attn.masked_bias", "transformer.h.8.attn.masked_bias", "transformer.h.9.attn.masked_bias", "transformer.h.10.attn.masked_bias", "transformer.h.11.attn.masked_bias".
我遇到了同样的问题，有什么方法解决嘛
您好，我直接导入你的pytorch_model.bin 显示权重缺失的错误，不知道您有这个问题？ Missing key(s) in state_dict: "transformer.h.0.attn.masked_bias", "transformer.h.1.attn.masked_bias", "transformer.h.2.attn.masked_bias", "transformer.h.3.attn.masked_bias", "transformer.h.4.attn.masked_bias", "transformer.h.5.attn.masked_bias", "transformer.h.6.attn.masked_bias", "transformer.h.7.attn.masked_bias", "transformer.h.8.attn.masked_bias", "transformer.h.9.attn.masked_bias", "transformer.h.10.attn.masked_bias", "transformer.h.11.attn.masked_bias".
我遇到了同样的问题，有什么方法解决嘛
用贴主的config
