评测代码是否开源？

[yuquanle]

您好，请问未来是否会开源评测代码？

[Heyu-cmd]

+1 评测代码是否能开源

[IT-Xue]

+1

[gptcod]

+1

[wwngh1233]

+1

[wwngh1233]

请问 评测逻辑和流程是怎么样的 ?

[wwngh1233]

按照当前的demo的数据格式， 对于 hellaswag等数据集，输入数据中的prompt是什么？

[wwngh1233]

请问如何用hf格式的model 做预训练任务的评测呢， 比如 hellaswag 等， 因为目前我看只支持generate的格式， 而且还需要有 <> 这些特殊字符的输入

[ulrika2cyl]

+1