cotk icon indicating copy to clipboard operation
cotk copied to clipboard

[Maintenance] 关于Metric的special token

Open hzhwcmhf opened this issue 4 years ago • 0 comments

metric应改用convert_ids_to_tokens或convert_ids_to_sent系列的函数。和原来的区别在于,输入可以选择性的带<eos>等special token,也可以不带。可以带

  • 检查实现,是否有没用convert系列函数的情况
  • 检查文档,应在文档中说明special token的处理方式
  • 应在example中有所体现
  • 原有Test应该能够通过

涉及的Metric有:

precision_recall:92 需要修改 293-297 检查一下,默认参数是remove special 所以感觉没有错

hzhwcmhf avatar Jul 05 '20 13:07 hzhwcmhf