[Help] 训练数据必须一问一答吗，能不能喂跑团记录那种一长串的数据？

[TEENN2233]

Is there an existing issue for this?

• [X] I have searched the existing issues

Current Behavior

网上的数据集都是一问一答的，让大模型像跑团DM一样围绕着一个主题，不断讨论，并让事情逐渐发展，实测这个能力有，但是该如何通过微调提升相关场景下的水平呢

Expected Behavior

No response

Steps To Reproduce

如题

Environment

- OS:windows11
- Python: 3.8
- Transformers:4.26.1
- PyTorch:1.12
- CUDA Support:True

Anything else?

No response

[cywjava]

自己弄成多轮对话。

[AlexLiu-C]

对于Corpus[n] 的内容的生成, context 是 {Corpus_[i] | i<n} 吗? 那直接把context := {Corpus_[i] | i<n} 作为 prompt整个塞进去好了 如果我问题理解的正确的话

[duzx16]

https://github.com/THUDM/ChatGLM-6B/tree/main/ptuning#%E5%AF%B9%E8%AF%9D%E6%95%B0%E6%8D%AE%E9%9B%86