[Presentation&Idea] 使用LLMs模拟学生对考试问题的反应

[Peng99999]

Title

Using LLMs to Simulate Students’ Responses to Exam Questions

Link

Using LLMs to simulate students’ responses to exam questions.pdf

Year

2024

Author and affiliation

剑桥：ALTA Institute, University of Cambridge, UK

Conference or Journal

EMNLP

Rank

CCF B

Keywords

No response

Selecting Reason

最近看到去年的EMNLP上的这篇论文，比较受启发，晚上我会分享这篇论文。

以往的大部分的LLM相关工作都是想尽办法来提升模型的能力，这篇文章不一样，通过提示工程来限制大模型，让大模型来模拟不同能力的学生，然后回答英语考试问题（问答、阅读理解）。

这篇文章干了三件事：

1. 先用一个LLM和一个公开数据集的一部分数据，来设计提示词
2. 评估大模型是否能模拟不同级别/能力的学生
3. 拓展到其他版本的LLM和其他公共数据集，进一步验证LLM是否有能力模拟不同能力的学生

比较可惜的是，这篇论文和我最开始的设想不太一样，没有更多涉及LLM模拟学生考试之后的相关事情，而是将重心集中在验证大模型是否能模拟不同能力的学生这件事本身上。

不过这篇论文是一个很好的开头、同时提供了相关的理论依据支撑，我们后续可以基于此干各种各样的相关工作～

个人觉得这是一个很不错的思路，因为目前的很多LLM已经具备这些强大的基础能力，而且不去卷模型的各个指标的提升，而改为限制大模型，让大模型扮演不同能力/学业水平等等的学生模拟考试。这样需要的计算资源也较少～

同时，在真实的教学环境中，想要获得学生们的考试数据/答题情况/学习情况，需要耗费巨大的成本：比如想要了解学生的一学期的学习进度，需要最少收集一个班的同学持续一学期的学习数据；比如了解学生的考试情况需要学生的答题样本就更多了，但是如果LLM能模拟这件事情，是可以节约很大的成本的

Supplementary

No response