Chi Liu
https://github.com/thinksoso/datasets/blob/master/clue/download.sh ``` BASH declare -A dict dict['tnews']=https://storage.googleapis.com/cluebenchmark/tasks/tnews_public.zip dict['afqmc']=https://storage.googleapis.com/cluebenchmark/tasks/afqmc_public.zip dict['iflytek']=https://storage.googleapis.com/cluebenchmark/tasks/iflytek_public.zip dict['ocnli']=https://storage.googleapis.com/cluebenchmark/tasks/ocnli_public.zip dict['cmnli']=https://storage.googleapis.com/cluebenchmark/tasks/cmnli_public.zip dict['cluewsc2020']=https://storage.googleapis.com/cluebenchmark/tasks/cluewsc2020_public.zip dict['csl']=https://storage.googleapis.com/cluebenchmark/tasks/csl_public.zip dict['cmrc2018']=https://storage.googleapis.com/cluebenchmark/tasks/cmrc2018_public.zip dict['drcd']=https://storage.googleapis.com/cluebenchmark/tasks/drcd_public.zip dict['chid']=https://storage.googleapis.com/cluebenchmark/tasks/chid_public.zip dict['c3']=https://storage.googleapis.com/cluebenchmark/tasks/c3_public.zip for key in $(echo ${!dict[*]}) do wget ${dict[$key]} unzip ${key}"_public.zip" -d ${key} rm...
* 增加 MoE 支持 * 利用 libai moe 做 cifar10 分类任务 project
MoE
MoE(Mixture-Of-Experts, 混合专家系统)，在不增加计算量的情况下增加模型容量。采用的技术是Conditional computation，通过加入可训练的门控网络，决定专家系统的稀疏组合。直观看来，就是把一个大模型，按层拆分成不同的小模型组合，在输入样本时，动态地选择对应的小模型计算。 使用SPARSELY-GATE机制来选择模型，MoE包含一个门控网络决定激活哪些层。 