如何 finetune 出想要的結果 ?

[arthurwu4work]

您好 :

我是剛接觸不久的新人，對於 LLM finetune 有一些問題想請教 我有一份約 2000 筆的 QA 資料集，希望finetune 後能夠回答出正確的答案

1. 請問這樣的資料量(約2000筆)用作 finetune 是足夠的嗎 ? 最少需要多少的資料才是足夠的呢 ?
2. num_train_epochs 數應該要多大 ? 程式預設為10，請問這個參數的設置是否有什麼依據 ?
3. LLM finetune 後是否可以像傳統模型一樣可以輸出正確結果 ? 還是它只單純學習到資料的相關性，無法做出正確的回覆 ?
4. 雖然經由一些 benchmark 可以知道其分數差異，但是卻沒辦法說明各種模型的 feature (例如:根據某指標，表示某模型只能做QA，且QA效果...等等)，根據您的研究與經驗，請問這兩種模型的能力及特色是 ? 7B 跟 13B 的模型該怎麼選 ?

謝謝您