HUANG Fei

Results 23 issues of HUANG Fei

**Description:** **Reference Issues:** #451

两个Label都需要添加一个接口,能够返回最大的label_id 这个可能需要从结构上进行修改,sparseLabel不能自己创建vocab,否则容易出问题 vocab的创建可能不能由默认参数来管,应该是除非特殊指定,统一使用一个vocab

new
feature

统一不同metric中CPU_COUNT接口

new
maintenance

使用`n_sample_hyp` & `n_sample_ref`替代`sample`: * 在两个BLEU指标中`n_sample_hyp`只控制了方差,`n_sample_ref`控制了大小,因此需要分开 * 减小`n_sample_hyp`能减少计算时间 另外解决了#407 目前缺少测试

metric应改用convert_ids_to_tokens或convert_ids_to_sent系列的函数。和原来的区别在于,输入可以选择性的带\等special token,也可以不带。可以带。 * 检查实现,是否有没用convert系列函数的情况 * 检查文档,应在文档中说明special token的处理方式 * 应在example中有所体现 * 原有Test应该能够通过 涉及的Metric有: precision_recall:92 需要修改 293-297 检查一下,默认参数是remove special 所以感觉没有错

new
maintenance

## Field没测的接口 加粗的是完全没测过的接口 | 类 | 接口名称 | 行数 | | --------------------- | ------------------------------------ | ------------------- | | Field | (doc) | 36 | | | (doc) | 86 |...

new
maintenance

对metric部分的重构 1. 部分metric名称更改,待定 2. 对每一个metric添加返回key的选项。目前每个metric返回的key是固定的,例如BleuCorpusMetric永远只能返回bleu。需要添加支持使得可以自定义返回key 3. 对更名的metric提供兼容性支持,即保留原来名字和接口。使用时,报Warning,且实际调用新的内容。 4. 将测试移动到新的metric上。原有部分提供简要的兼容性测试,只要能够构造即可。

new
feature
0.1.1

**Description:** fix bugs when transformers upgrade to v3.0 GPT2tokenizer.save_pretrained do not work in transformers v3.0