hurricanedjp
hurricanedjp
@kiwighost 大佬,请问下你们用tf-serving做的服务,是跑在GPU上,调用耗时如何呢? export save_model的代码可否分享下,O(∩_∩)O谢谢
> > > 层主,你的实验有效果么?我在此模型基础上修改做NER的相关实验,实验结果并不理想,请问一下,你的结果如何?可否讨论一下? > > > > > > FastBERT目前不适合NER任务,因为NER中需要对每个字进行一次分类,一个句子中不同的字分类可能有不同的uncertainty, 那么一个句子究竟该走几层就不确定了。请问您是如何处理这个问题的? > > uncertainty那里我求的是整体的得分,再求个平均(为了能跑通,这么处理的)。但是我发现蒸馏那里,好像并不适合NER,我求出来的标签全部变成了“O”标签。其他标签都出不来了。所以我并没有解决这个问题。QAQ!!!!!! 请问下,你NER蒸馏时loss收敛了么?我的没有收敛,一直到30多下不去了,看了下各层loss,1-6层的比较大(值在4-9之间),后面几层比较小。uncertainty处理和你一样的,speed设0.1,准确率64%,speed0.5, 准确率57%
并且label数值不一致的话,如何推理输出数值映射的标签呢
@xpxpx 普通的有监督训练,不同批次训练标签肯定都是一致的,任务也是一致,学习原始数据到相应目标标签(数值)的映射,不断迭代至收敛。这里不同批次各类别的数据绑定的label数值都不一样,如何学习对应的映射,而且还能收敛。。有点不太理解
@xpxpx 多谢回复,我可能大概理解你的意思。对于每一个选出来的类,模型都是在做query和类原型的匹配任务,并将这个任务的匹配度(或者匹配距离)映射到对应的label数值? 我现在的理解是 对于每一次batch或迭代,选择不同的类,不同类别与固定顺序的label数值绑定,或者说不同类别与固定顺序的匹配任务绑定,这个匹配任务包括找类中心和计算匹配度。整个训练过程中,类别有可能和不同位置(不同label值)的匹配任务绑定,然后模型学习使得所有的类别在不同位置都能找到对应的类中心,并计算匹配?
@xpxpx 另外因为数据没有负样本,对于不属于数据集中类别的样本要建一个新类么,或者说负类(涵盖范围较广)。inference如何处理呢,对匹配度logits设个阈值么?当然这个我也看过,对于我自己的数据,模型虽然收敛,但logits数值比较大有点不好操作
@xpxpx https://mp.weixin.qq.com/s/fnR_-B0PEnSpnwDN9r6btg 清华刚放出了FewReal2,就是我说的不属于数据集中任一类别样本的情况了
最新的步骤试了下,可以生效,就是chrome extensions页面还是看到有类似上面的报错,不知道是否正常
另外,现在manifest v3的插件还是不能支持是吧,one tab就是。 那么后面如果其他插件都升级成v3了,是不是这种inject的方法都不能用了
你这个问题和我PC端云原神遇到的问题很像 #1313 都是传送点旁边有其他标志的时候,传送点会识别错误,说不存在。 可能你用实体客户端这个问题是偶现,我用云原神客户端是必现,日常委托一条龙都没法做…