cotk
cotk copied to clipboard
[Maintenance] 关于Metric的special token
metric应改用convert_ids_to_tokens或convert_ids_to_sent系列的函数。和原来的区别在于,输入可以选择性的带
- 检查实现,是否有没用convert系列函数的情况
- 检查文档,应在文档中说明special token的处理方式
- 应在example中有所体现
- 原有Test应该能够通过
涉及的Metric有:
precision_recall:92 需要修改 293-297 检查一下,默认参数是remove special 所以感觉没有错