Weitang Liu
Weitang Liu
目前该仓库实验是一个比较简单的方式,对于嵌套的其实处理也很简单的。可以结合多标签进行
使用huggfaceing中的tokenizer的offset_mapping关系进行word和suword的对应关系。后期我更新下
@652994331 您好,可以试试https://github.com/lonePatient/TorchBlocks/tree/master/examples 这里面的。如果是自己业务数据,其实像span、gp这种方案都可以试试,不好说的。如果是公开的评测的话,我印象里不是gp,当然baseline基本以gp为主了。
@hfy-only 这个项目已经是3年前了,权重文件主要是为将谷歌还有国内贡献者提供的tf权重转化为pytorch版本。主要当前albert出来的时候还未有pytorch版本。
@Leo-xh hi,for multi gpus, you try : if len(n_gpus)>1: loss = loss.means() loss.backward()
14B-32B是真的适合,不知道官方是否会开源对应版本。