bert4vec icon indicating copy to clipboard operation
bert4vec copied to clipboard

增加对roformer-ft新模型的支持

Open blmoistawinde opened this issue 1 year ago • 3 comments

你好,感谢你写的这个工具库,接口包装得用起来很方便!

注意到苏建林老师后面又提供了有监督训练增强的roformer-sim-ft,得到的相似度结果会一般会更加符合人的直觉,不过目前在这个库中还没有得到支持。

所以我仿照了你提到的方法对苏神release的ckpt做了转换和上传,然后在代码里添加了相应模型的支持。

https://huggingface.co/blmoistawinde/roformer-sim-ft-small-chinese https://huggingface.co/blmoistawinde/roformer-sim-ft-base-chinese

我比较了增强前后的模型(实验代码也放在里面了),发现ft模型确实能体现出更符合普通常规认知的相似度打分,比如加了“不”字后相似度明显降低。(虽然跟苏神原文中的数字有一点点不同,不知道是转化中出现了误差还是什么别的问题,但是感觉输出的效果基本上还是挺好的)。如果你觉得可以的话,就把这个PR merge一下吧。

blmoistawinde avatar Aug 02 '22 09:08 blmoistawinde