Open-Llama
Open-Llama copied to clipboard
中文预训练模型的精度有评测吗?
@s-JoL 非常感谢分享这么好的工作,中文预训练模型真的好稀缺。 我想了解一下,目前的预训练模型,有在一些评测集上测试过指标吗?
目前在进行三种测评,分别是
- EleutherAI/lm-evaluation-harness,是一个英文领域比较常用的测评。
- Measuring Massive Multitask Chinese Understanding 一个近期出的中文测评集,包含的范围挺广的,数据量也不少。
- 参考Vicuna使用GPT4作为评判,将英文问题翻译为中文。
本周应该可以补充部分结果。
感谢回复! 请问多久会出更大参数量的预训练模型啊? 7B还是有点太小了~