HexBanana

分享合成器模型

22

https://drive.google.com/file/d/1l9MM4WKvYIdZzC0PINPiizl-rJTqPa7u/view?usp=sharing 使用aidatatang_200zh训练集 9k左右注意力开始收敛，12k左右loss降到0.4,现在训练到20k,loss在0.36和0.37之间波动，我怀疑是过拟合了 还有更多模型正在训练

如何解决colab炼丹每次都要上传数据集预处理数据集还爆磁盘的蛋疼问题

7

许多同鞋因为家里设备不佳训练模型效果不好，不得不去世界最大乞丐炼丹聚集地colab上训练。但是对于无法扩容google drive和升级colab的同鞋来说，上传数据集真的如同地狱一般，网速又慢空间又不够，而且每次重置都要上传，预处理令人头疼。我耗时9天终于解决了这个问题，现在给各位同学分享我的解决方案。 首先要去kaggle这个网站上面注册一个账号，然后获取token 我已经把预处理了的数据集(用的aidatatang_200zh)上传在上面了，但是下载数据集需要token,token需要注册账号，具体获取token的方法请自行百度，在此不过多赘述。 然后打开colab 修改-> 笔记本设置->运行时把 None 改成 GPU 输入以下代码: ``` !pip install kaggle import json token = {"username":"你的账号","key":"你获取到的token"} with open('/content/kaggle.json', 'w') as file: json.dump(token, file) !mkdir -p ~/.kaggle...