MetaGPT humaneval

请问可以提供测试humaneval的相关方法吗，现在想要进行测试但是完全不知道该如何下手，generate_repo返回的是一个Projectrepo类型不能被转换成jsonl，希望作者能加上去，谢谢。

Jul 27 '24 09:07 codeAlwaysPass

ProjectRepo对应的是一个文件夹路径。如果要转JSON，本质上是将一个文件夹转JSON。你希望转成什么样的JSON？ @codeAlwaysPass

Jul 29 '24 07:07 iorisa

我希望转成一个可以让humaneval评估的jsonl文件，目前我是自己写python脚本把文件夹里面的代码写入jsonl，但可能是由于我的代码问题这样得到的jsonl获得的准确率只有0.27。

Jul 29 '24 08:07 codeAlwaysPass

由于版本迭代新增功能且迭代较快，engineer 中增加了不少 repo 级别的处理和设计。针对 HumanEval，我建议你先熟悉并使用 v0.4-release 或者之前的版本。在这个版本中，你可以获取 engineer 的执行结果（msg = Message(content=code, role=self.profile, cause_by=WriteCode)）。你可以选择在 msg 生成之前直接将code保存到JSONL文件，或者在 engineer 执行结束后，通过 memory 的 get_by_actions 函数来获取代码，再将其写入 JSONL 文件。:)