z-bench
z-bench copied to clipboard
进阶能力中,prompt 198 是否应修改?
“维姬在她朋友奥利弗家的一个聚会上。”这一段应该是翻译自 Faux Pas Recognition Test(Adult Version) 的第一个故事,但该故事属于对照组,并不包含 faux pas,即答案确实是“没有人说了奇怪的话”。
如果要实现预期目的,可以考虑从实验组中选一个故事提问?
链接中的 pdf 第22页,“Scoring the faux pas task”一节指出了含有 faux pas 的故事。 原文:For each story containing a faux pas (stories 2, 4, 7, 11-16, and 18), the subject gets 1 point for each question answered correctly.